Это потому, что вкладка - это именование контейнера, а ваше обновление должно быть update="Search:insTable:display"
. Что вы можете сделать, просто разместите свое диалоговое окно вне формы и все еще внутри вкладки, тогда оно будет: update="Search:display"