Как я могу получить предыдущие и следующие объекты от фильтрованного, заказанного queryset?

Похоже, что для пагинатора, установленного на пороге 1, вполне достаточно.

# Full query set...
pages = Page.objects.filter(column=somevalue)
p = Paginator(pages, 1)

# Where next page would be something like...
if p.has_next():
     p.page(p.number+1)

Документация здесь и здесь .