Есть много пакетов, в основном с интерфейсами Matlab, например SDPT3, SeDuMi и CVX. Я полагаю, что первые два имеют бэкенды на C. На сайтах этих проектов есть ссылки на другие пакеты. Какой язык вы имели в виду?
Подходит ли вам GLPK?