Как управлять содержимым текстуры на лету?

У меня есть приложение для iPad, над которым я работаю, и одна возможная функция, которую мы рассматриваем, - это позволить пользователю коснуться изображения и деформировать его.

В основном изображение будет похоже на картину, и когда пользователь проводит пальцами по изображению, изображение будет деформироваться, а пиксели, которых коснулись, будут «перетаскиваться» по изображению. Извините, если это трудно понять, но суть в том, что мы хотим редактировать содержимое текстуры на лету, когда пользователь взаимодействует с ней. Я пытаюсь понять, что нужно сделать, и насколько тяжелой будет эта операция.

Сейчас единственное, о чем я могу думать, - это искать содержимое текстуры в зависимости от того, где было прикоснуться и скопируйте данные пикселей и сделайте какое-то смешение с существующими данными пикселей при перемещении пальца. Затем периодически перезагружайте текстуру с помощью glTexImage2D, чтобы получить этот эффект.