чрезмерный трафик от бота facebookexternalhit

Кто-нибудь знает, как сказать боту «facebookexternalhit» распространять трафик?

Наш веб-сайт забивается каждые 45 -60 минут с всплесками прибл. 400 запросов в секунду, от 20 до 30 разных IP-адресов из сетевых блоков facebook. Между пиками трафик не пропадает, но нагрузка приемлемая. Конечно, мы не хотим блокировать бота, но эти шипы рискованны. Мы бы предпочли, чтобы бот равномерно распределял нагрузку по времени. И посмотрите, как он ведет себя как Googlebot и его друзья.

Я видел соответствующие отчеты об ошибках(Первая ошибка , , Вторая ошибка и Третья ошибка (#385275384858817 )), но не удалось найти никаких предложений по управлению нагрузкой.

11
задан madhead 26 April 2016 в 23:37
поделиться