Соблюдают ли роботы Facebook для сканирования веб-страниц директиву Crawl-delay: в файлах robots.txt ?
Crawl-delay:
robots.txt