Моя собственная (полуобразованная) догадка состоит в том, что вам будет очень трудно это сделать. Но другие пошли по тому же пути. Эта статья может быть хорошим местом для начала вашего исследования. И поиск в Google нашел Accelereyes и пару ссылок на элементы Mathworks File Exchange, которые вы, возможно, захотите изучить.
Parallel Computing Toolbox в предстоящем выпуске R2010b (выйдет 1 сентября) поддерживает обработку графическим процессором для нескольких функций. К сожалению, он поддерживает только CUDA (версия 1.3 и новее), поэтому с видеокартой ATI вам не повезло. Однако в любом случае вы можете просто захотеть купить выделенный графический процессор.