AX - это 16 младших бит EAX. AH - 8 старших бит AX (т.е. бит 8-15 EAX), а AL - младший байт (бит 0-7) EAX, а также AX.
Пример (шестнадцатеричные цифры) :
EAX: 12 34 56 78
AX: 56 78
AH: 56
AL: 78
Теоретически это возможно. Другое приложение использует OpenGL? Или это просто любое приложение X11?
Если это просто приложение X11, вам нужно сделать то, что делает диспетчер композитинга, а именно использовать расширение COMPOSITE X для получения содержимого окна, а затем его обработки.
Если это просто приложение OpenGL, и вы можете его модифицировать, вы можете использовать FBO для рисования всего в текстуре и использовать разделяемую память (SHM) для обмена данными текстуры с другим приложением.