Алгоритм проецирования 2D / 3D-объектов на плоскость (дополненная реальность)?

Я работаю над проектом о дополненной реальности с использованием маркера (который представляет собой шахматную доску), который берет изображения с веб-камеры и вставляет 2D / 3D-объект на плоскость шахматной доски (в реальном времени).

Используя openCV, я смог обнаружить углы шахматной доски и нарисовать их.

Я использовал Direct3D для рендеринга кадра (с помощью ортогональной проекции), так что позже я могу использовать его для проецирования 2D / 3D объектов.

Теперь я застрял на этом этапе. Я знаю, что существуют библиотеки, такие как ARToolkit и т. Д., Но я хочу понять технику и алгоритм, лежащие в основе этого. Как мне найти матрицу преобразования, которая может отображать трехмерный объект на шахматной доске?