Удалить / скрыть настройки с экрана

Да, если у вас есть ссылка как на предпочтение, так и на его родителя (PreferenceCategory или PreferenceScreen)

myPreferenceScreen.removePreference(myPreference);