Система. Сеть. Запрос WebClient получает 403 Запрещенных, но браузеры не делают с серверами Apache
Нечетный, я пытаюсь считать раздел <Head> большого количества различных веб-сайтов там, и один конкретный тип сервера, Apache, иногда дает коду 403 запрещенных. Не все апачские серверы делают это, таким образом, это может быть установка конфигурации или конкретная версия сервера.
Когда я затем проверяю URL с веб-браузером (Firefox, например) прекрасные загрузки страницы. Вид кода похож на это:
var client = new WebClient();
var stream = client.OpenRead(new Uri("http://en.wikipedia.org/wiki/Barack_Obama"));
Обычно, 403 отказавший вид права доступа вещи, но это обычно небезопасные страницы. Я думаю, что Apache фильтрует на чем-то в заголовках запроса, так как я не потрудился создавать любого.
Возможно, кто-то, кто знает больше о Apache, может дать мне некоторое представление о том, что отсутствует в заголовках. Я хотел бы сохранить заголовки как можно меньше для уменьшения пропускной способности.
Спасибо
2 ответа
Попробуйте установить заголовок UserAgent:
string _UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705;)";
client.Headers.Add(HttpRequestHeader.UserAgent, _UserAgent);
Это может быть связано с заголовком UserAgent, как сказано в «thedugas», или вообще с чем-то, на что браузер настроен в автоматическом режиме. Например, это может быть связано с тем, что вы не используете прокси-сервер, который использует браузер, или не используете правильные учетные данные для прокси-сервера. Это вещи, которые уже могут быть настроены в браузере, поэтому вы не знаете, что это нужно делать.