Для чисто 2D-обработки изображений используйте opencv / ivt / vxl
Для трехмерной визуализации используйте либо osgvolume часть openscenegraph , либо VTK
OpenCV http://opencv.willowgarage.com/wiki/ с http://www.amazon.com/Learning-OpenCV-Computer-Vision-Library/dp/0596516134