Заголовок запроса User-Agent содержит характеристическую строку, которая позволяет одноранговым сетевым протоколам идентифицировать тип приложения, операционную систему, поставщика программного обеспечения или версию программного обеспечения запрашивающего программного агента пользователя. Проверка заголовка User-Agent на стороне сервера - обычная операция, поэтому обязательно используйте строку User-Agent в браузере, чтобы избежать блокировки.
blockquote>(Источник: http://go-colly.org/articles/scraping_related_http_headers/ )
Единственное, что вам нужно сделать это установить законный пользовательский агент. Поэтому добавьте заголовки в , эмулируйте браузер . :
# This is a standard user-agent of Chrome browser running on Windows 10 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36' }
Пример:
from bs4 import BeautifulSoup import requests headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'} resp = requests.get('http://example.com', headers=headers).text soup = BeautifulSoup(resp, 'html.parser')
Кроме того, вы можете добавить еще один набор заголовков, чтобы выглядеть как законный браузер. Добавьте еще несколько заголовков, как это:
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36', 'Accept' : 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Language' : 'en-US,en;q=0.5', 'Accept-Encoding' : 'gzip', 'DNT' : '1', # Do Not Track Request Header 'Connection' : 'close' }
Просто выход. Жизнь слишком коротка, чтобы быть скудной. Вы ясно знаете, какая среда работает на Вас и что не делает среда. Найдите другое задание как первое. Я знаю, что это легче сказать чем сделать..., но Вы действительно должны его себе.
У меня есть некоторый опыт с этим, где я работаю. В целом скажите Вашему боссу свои проблемы, и если они не обращены, продолжайте поднимать их, поскольку они будут влиять на Вашу производительность, и продавать Вашего менеджера при помощи Вам обратиться к ним.
Вот то, что я сделал:
Распознайте, что навигация по корпоративным водам является просто еще одной технической проблемой для Вас, и Вы начнете предлагать новые решения для своих проблем. Как пример, я работал консультантом в одной компании, где мне нужно было физически позволить в серверную, чтобы сделать мою работу. Я должен был сделать смешную сумму документов каждый день только для входа, и они стирали меня. Таким образом, однажды я принес большой мешок самодельных шоколадных печений женщине, которая наблюдала за серверной, и это было концом документов для меня.
Или Вы могли просто использовать в своих интересах свою общую незначительность в Вашей новой среде и вложить некоторое серьезное веб-перемещение.
Вещи, которые помогли мне:
Я также узнал, что трава является не обязательно столь зеленой с другой стороны, как это смотрит - так быть благодарным за то, что Вы имеете.
Главным образом это не плохо. Я работал на компании всех размеров в значительной степени, и различиями является больше на компанию, чем что-нибудь на самом деле базирующийся размер.
Часть структуры, наложенной крупной компанией, вероятно, сделала бы большой младший, более независимый талант в нашей промышленности некоторая польза.
Иногда, когда мне говорили сделать что-то удивительно глупое или сделать это удивительно глупым способом, у меня есть молитва: "Мне платят хорошо и можно было платить намного меньше, чтобы сделать намного больше работы, таким образом закрывать и делаю это". Затем я иду домой в 5:00 и концентрат на моей собственной жизни.
Как был указан в других сообщениях, слушание музыки является большим для включения шума.
Большинство вопросов, которые Вы поднимаете, является общим в большом departments\projects, лучший способ приблизиться к ним состоит в том, чтобы попытаться обучить и убедить тех, которые вокруг Вас альтернатив.
Вы могли обеспечить, экономическая модель для более быстрых машин (joelonsoftware предоставляет большую информацию о производительности разработчика).
Неясные требования неизбежны в деловой среде, где заинтересованные стороны часто не знают то, что они хотят заранее, и изменение является частым, это часто переопределяет много технических вопросов и так затеняет их также. Лучший способ обратиться к этому состоит в том, чтобы принять процесс, который подтверждает это и управляет им, например, Гибкий.
Если бы у Вас есть опасения по поводу инструментов и процессов, я первоначально обсудил бы это с другими разработчиками и затем взял бы его development\project менеджеру.
Часто существуют преимущества, которые не могут быть ясными первоначально constrictive природы ролей и сред (часто не столь трудный, как первоначально думается). Они могут включать доступ к более глубокому знанию из-за специализации и способности делегировать некоторые операции другим людям в организации, однако это обычно означает, что вещи происходят больше параллельно, но медленнее. Можно также получить exposure\experience более широкого диапазона роли и операций и встретить много людей.
Это займет время и большое усилие обучить и убедить людей относительно этих проблем, хотя, после того как это начинает происходить, цинизм, вероятно, начнет ослабляться и исчезать, выполнение изменения в многочисленной команде/отделе не легко и обычно требует импульса путем получения большего количества людей, у которых вызывают энтузиазм и вовлеченный. Лично я процветаю от этого, несмотря на него часто быть печальным, поскольку это позволяет мне вовлекать людей в людей наставника и дебатах. Однако я очень фокусируюсь на people\process аспектах разработки программного обеспечения по технологиям. Если бы это не для Вас затем, я рассмотрел бы двигающиеся обратно задания или запрос переназначения к в команде дома.
Это полагается на людей, Вы работаете, поскольку это - самая важная вещь в разработке, с тем, чтобы быть доступным и согласилось на project\department\organisation, если дело обстоит не так можно хотеть искать альтернативное задание.
Для шума я приношу хороший наушник и использую музыку.
Медленное оборудование и постоянное прерывание являются озабоченностью, что необходимо говорить менеджером проектов. Я просто, он хочет, чтобы Вы работали быстрое, что Вы можете. Он мог бы помочь Вам.
Я сменил работу, чтобы быть в хорошей/продуктивной/дружественной/воодушевленной/любознательной среде.
Я могу сочувствовать Вам, все же. Я работал в нескольких ужасных местах, которые были точно тем же, как Вы описываете. Проблема была, не было никакого способа для меня изменить среду или их процесс.