Я наводил справки о реализации Java алгоритма макета ориентированного графа силы, но не получил фруктов до сих пор. Любая справка будет цениться :)
Юнг:
http://jung.sourceforge.net/index.html
.. уже давно существует и множество алгоритмов верстки.
Вы также можете проверить Gephi на http://gephi.org/ - это приложение, а не библиотека, но это Java с открытым исходным кодом.
Здесь также есть Processing (суперъязык Java) и библиотека физики: http://www.cs.princeton.edu/~traer/physics/random_arboretum/index.html (щелкните в поле кучу раз для построения графика).
Мой поиск дал четыре близко связанных результата; я не знаю, для чего вам это нужно, но надеюсь, что хотя бы один из них будет полезен: