Как убрать слушателя события прокрутки?

Вы можете удалить прослушиватели событий только на внешних функциях. Вы не можете удалить прослушиватели событий для анонимных функций, как вы использовали.

Замените этот код

window.addEventListener('scroll', () => { ... };

и сделайте это вместо этого

window.addEventListener('scroll', someFunction);

Затем переместите свою функциональную логику в функцию

function someFunction() {
  // add logic here
}

Затем можно удалить щелкните прослушиватель, когда выполняется какое-то условие, т.е. когда элемент находится в области просмотра

window.removeEventListener('scroll', someFunction);