Как установить Robots.txt или Apache разрешает поисковым роботам только в определенные часы?

Так как трафик распределяется неравномерно в течение 24 часов, я хотел бы запретить поисковым роботам в часы просмотра и разрешить их в нерабочее время.

Есть ли способ добиться этого?

]редактировать: спасибо за все хорошие советы.

Это еще одно решение, которое мы нашли.

На сайте 2bits.com есть статья о настройке брандмауэра IPTables для ограничения количества подключений с определенных IP-адресов.

статья

Настройка IPTables:

• Использование connlimit

В новых ядрах Linux есть модуль connlimit для iptables. Его можно использовать следующим образом:

iptables -I INPUT -p tcp -m connlimit --connlimit-above 5 -j REJECT

Это ограничивает количество подключений с каждого IP-адреса до не более 5 одновременных подключений. Это своего рода «паек» подключения и предотвращает одновременное попадание сканеров на сайт. *