Sinon отрицать, что заглушка вызывается, хотя он назывался

Чтобы скрыть переключатель по умолчанию, я предлагаю удалить кнопку вместо того, чтобы сделать ее прозрачной, так как вся визуальная обратная связь обрабатывается извлекаемым фоном:

android:button="@null"

Также было бы лучше использовать стили , поскольку есть несколько переключателей:

Вам понадобится Seslyn customButtonBackground drawable тоже.