Переопределение TScrollbox MouseDown

Я создал пользовательскую полосу прокрутки, производную от TScrollbox, которая работает так же, за исключением того, что она будет прокручиваться при перетаскивании в клиентской области в сторону от полос прокрутки.

Моя проблема сейчас в том, что я не могу перетаскивать для прокрутки, когда мышь находится на кнопке или панели внутри моего CustomScrollbox.

Переопределение MouseDown, MouseUp, MouseMove не сработает, потому что оно наводится на разные элементы управления.

Как я могу отслеживать MouseDown, MouseUp, MouseMove и предотвращать срабатывание событий Button/Panels (внутри моего CustomScrollbox) при начале перетаскивания?

вот видео моего гладкого CustomScrollbox