Почему я не могу вызвать событие PropertyChanged из метода расширения?

Короче говоря, это невозможно. (Если бы это было, экземпляр Author имел бы другой атрибут books в зависимости от того, как он был запрошен, что не имеет смысла.)

Вместо этого вы можете запросить обратное соотношение:

books = session.query(Book) \
               .filter(Book.title.like('%SQL%')) \
               .all()

Затем вы можете получить доступ к .author в каждой книге, чтобы собрать книги, написанные одним и тем же автором вместе.