Я нашел эту библиотеку, и она великолепна: Meschach
Я бы сказал BLAS или LAPACK.
Вот у вас есть несколько примеров.
OpenCV
альтернативный текст http://opencv.willowgarage.com/wiki/Welcome?action=AttachFile&do=get&target=OpenCV_Overview.jpg
