У меня была та же проблема в списке RecyclerView с коммутаторами и была решена с помощью ответа @oguzhand, но с этим кодом внутри checkedChangeListener:
if (buttonView.isPressed()) {
if (isChecked) {
group.setSelected(true);
} else {
group.setSelected(false);
}
}else{
if (isChecked) {
buttonView.setChecked(false);
} else {
buttonView.setChecked(true);
}
}
(где «группа» - это объект I хотите выбрать / отменить выбор)