target_link_libraries не добавляет какой-либо каталог, он добавляет определенную библиотеку, которую вы включили. Используйте команду VERBOSE = 1, чтобы увидеть полную команду. Возможно, вы сможете получить выходной каталог библиотеки, прочитав каталог сборки или имя выхода библиотеки.
Вы можете использовать AVG и группировать по
select id, avg(Difference )
from my_table
group by id