Фильтрация только на Аннотациях в Django

Взятие примера от: http://docs.djangoproject.com/en/dev/topics/db/aggregation/#filter-and-exclude

Publisher.objects.filter(book__rating__gt=3.0).annotate(num_books=Count('book'))

Там должен так или иначе иметь фильтр, только относятся к аннотации, таким образом, это возвратило бы всех издателей с некоторыми имеющими num_books=0?