Apache Maven плюс плагин shade будет делать именно то, что вам нужно.
Проверьте «Shade Plugin», где добавлен Main-Class раздел MANIFEST.MF "здесь http://maven.apache.org/plugins/maven-shade-plugin/examples.html