OpenGL :создание сложных и сглаженных полигонов

В моем проекте OpenGL я хочу динамически создавать сглаженные полигоны, подобные этому:

Проблема в основном связана с процессом сглаживания. Моя процедура до этого момента заключалась в том, чтобы сначала создать VBO со случайно расположенными вершинами.

Затем, в моем фрагментном шейдере, (я использую программируемый конвейер функций )должен произойти процесс сглаживания, или, другими словами, создать кривые из ранее определенных "линий" между вершинами.

И именно в этом проблема :Я не очень знаком с теми сложными математическими алгоритмами, которые бы проверяли, находится ли точка внутри "сглаженного многоугольника" или нет.