Как прочитать всю веб-страницу в переменную

Я пытаюсь прочитать всю веб-страницу и присвоить ее переменной, но у меня не получается это сделать. Кажется, что переменная может содержать только первые 512 или около того строк исходного кода страницы.

Я попытался использовать readlines(), чтобы просто вывести все строки исходного кода на экран, и это дало мне исходный код целиком, но мне нужно иметь возможность анализировать его с помощью регулярных выражений, поэтому мне нужно сохранить его в какая-то переменная. Помощь?

 data = urllib2.urlopen(url)
 print data

Только дает мне около 1/3 источника.

 data = urllib2.urlopen(url)
 for lines in data.readlines()
      print lines

Это дает мне весь источник.

Как я уже сказал, мне нужно иметь возможность анализировать строку с помощью регулярных выражений, но часть, которая мне нужна, находится не в первой 1/3, которую я могу сохранить в моей переменной.

7
задан octopusgrabbus 6 June 2012 в 14:17
поделиться