Что случилось с CacheStatisticsProvider в Spring Boot 2

Почему бы не использовать метод DialogResult для закрытия формы?

if(DialogSettingsCancel.ShowDialog() == DialogResult.Yes)
{
     this.close();
}

Для этого вам нужно будет сделать это в своей форме «WindowSettings», когда вы вызываете форму DialogSettingsCancel. Точно так же вы бы назвали OpenFileDialog или любую другую форму диалога.