Я искал везде и больше всего нашел doc.xpath ('// element [@ class = "classname"]' ), но это не работает, как бы я ни старался.
код, который я использую
import lxml.html
def check():
data = urlopen('url').read();
return str(data);
doc = lxml.html.document_fromstring(check())
el = doc.xpath("//div[@class='test']")
print(el)
Он просто печатает пустой список.
Изменить: Как странно. Я использовал Google в качестве тестовой страницы, и он там отлично работает, но не работает на странице, которую я использовал (youtube)
Вот точный код, который я использую.
import lxml.html
from urllib.request import urlopen
import sys
def check():
data = urlopen('http://www.youtube.com/user/TopGear').read(); #TopGear as a test
return data.decode('utf-8', 'ignore');
doc = lxml.html.document_fromstring(check())
el = doc.xpath("//div[@class='channel']")
print(el)