Существует алгоритм триангуляции многоугольника за линейное время, созданный Шазелем (1991), но, AFAIK, нет никаких стандартных реализаций его алгоритма в общем математическом программном обеспечении ...