Посмотрите на проект Asterisk PBX и проект Asterisk Java integration http://asterisk-java.org. Возможно, вы получите некоторые подсказки и не будете вынуждены изобретать колесо.
Вы можете посмотреть на размещенные голосовые платформы. Есть VoiceXML (см. http://vxml.org/ для документации и руководств) и множество хостов VoiceXML, включая моего работодателя, Voxeo ( http://voxeo.com/ ).
Существует также Adhearsion, среда программирования, работающая на Asterisk http://adhearsion.com/ (это Ruby, но всегда есть JRuby, если вам нужно оставаться в мире Java).
И, наконец, ряд размещенных служб API, которые вы можете использовать для создания голосовых приложений. Tropo ( http://tropo.com/ ), Twilio, ifByPhone ( http://ifbyphone.com/ ) и некоторые другие.
Большинство размещенных API разработаны так, что вам не нужно быть голосовым разработчиком, чтобы понять их. Например, чтобы создать конференцию на Java с помощью Tropo, вот код ...
answer();
conference('unique-id');
Используя этот код, каждый, кто звонит по номеру телефона, к которому привязан этот код, будет присоединен к конференции вместе.