Я сам не использовал, но вы можете начать с просмотра GeoTools:
Образец руководства по приложению: http://www.ibm.com/developerworks/opensource/library/os-kmlservice/index.html?ca=drs-
Java Topology Suite - хороший вариант для 2D-пространственных операций. http://www.vividsolutions.com/jts/jtshome.htm