В Django 1.9+ вы можете отслеживать часовой поиск, например created_at__hour__lte, поэтому запрос из вопроса будет работать .
created_at__hour__lte
query = query.filter(created_at__hour__lte=10)