В этом уроке показан отличный способ сделать разбиение на страницы. Эффективное разбиение на страницы с использованием MySQL
Короче говоря, избегайте использования OFFSET или большого LIMIT