Фильтры / ядра всегда имеют 4 измерения, которые (ширина, высота, фильтр_nr, каналы). Каналы равны количеству каналов во входном изображении, но для более поздних слоев в сети это может быть другим.
Весы, которые вы задаете, предназначены для полностью связанного (плотного) слоя, а не для сверточного (что и есть Conv2D).