найти правильный селектор для нумерации страниц с помощью скрапа
Вы можете избежать кавычек в строке: value='Government wants to limit employers' communications about unionization' Эвакуация приведет к остановке этой проблемы.
PHP предоставляет функции для этого, если ваша информация находится в переменной. Просто используйте htmlspecialchars
2 ответа
Попробуйте response.css('link[rel=next]::attr(href)').get(), это должно сработать.
Учитывая то, как построен этот конкретный веб-сайт, я бы хотел использовать в этих ситуациях xpath. Учитывая, что текущая страница будет иметь класс «selected», я выбрал бы «selected» класс и затем использовал бы синтаксис «follow-sibling» с индексом 1, чтобы получить самые следующие теги.
В вашем случае:
response.xpath("//li[@class='selected']/following-sibling::li[1]/a/@href").extract_first()
Таким образом, независимо от того, на какой странице вы находитесь, вы динамически выбираете «следующую» страницу.