Как закрыть Диалоговое окно jQuery в диалоговом окне?

Используя $(this).dialog('close'); только работы в функции щелчка кнопки в модальном. Если Ваша кнопка не в диалоговом окне, как в этом примере, определите селектор:

$('#form-dialog').dialog('close');

Для получения дополнительной информации, посмотрите документация

вы можете закрыть его программно, вызвав

$('#form-dialog').dialog('close')

когда захотите.

Вам нужно

$('selector').dialog('close');