Старый метод для чисто Windowless OpenGL использует PBuffer. В Windows это требует создания промежуточного контекста OpenGL с использованием обычного окна для получения требуемых указателей функции расширения. На X11 / GLX он работает без дальнейших церемоний.
Современный способ реализации внеэкранного рендеринга - использовать регулярное, но скрытое окно с обычным контекстом OpenGL и FBO в качестве цели рендеринга.
Край кровотечения и все же не очень хорошо поддерживаемый метод (за исключением некоторых встроенных устройств) использует EGL для создания с возможностью рисования.