Вы можете попробовать setEnabled (false), хотя могут иметь и другие побочные эффекты. GridView действительно не предназначен для использования так, как вы его используете. Вы должны создать свой собственный вид или макет. Вы также можете использовать TableLayout.