Android: Как удалить элемент из представления сетки, чтобы оставшиеся элементы перемещались на свои места

ИСТОРИЯ:
У меня есть сетка из 36 кнопок, скажем, 6 строк и 6 столбцов с номерами от 1 до 36, отображаемые по 2 строки за раз с помощью GridView и настраиваемого адаптера.

Сетка отображается нормально, и вся прокрутка работает

ВОПРОС:
Я хочу иметь возможность щелкнуть элемент, удалить его из сетки, а оставшиеся элементы встанут на свои места. В настоящее время я могу отключить этот элемент, установить его видимость на НЕВИДИМЫЙ или УДАЛЕННЫЙ, но ни один из них не удалит его с дисплея.

Предложения?