Поведение вашей программы не определено.

Арифметика указателей действительна только в массивах. И r, g, b не образуют массив.

Лучше всего перекодировать float& operator[](size_t) с помощью блока switch, содержащего 3 метки.