Я использую Delaunay для триангулирования вогнутого полигона, но он заполняет вогнутости. Как я автоматически удаляю треугольники, которые являются вне границ полигона?
Самоответ: в некоторых случаях это невозможно. Мне нужно было использовать ограниченный алгоритм Делоне: http://www.cs.cmu.edu/~quake/triangle.delaunay.html
Вы не должны, вы должны найти рутину Делони, которая корректно обрабатывает границы.
Или вы можете, предполагая, что знаете границы, пройти через каждый треугольник и удалить те, которые пересекают границы. Ищите тесты на целочисленные сегменты, чтобы найти код для этого.