Crawl-delay
Crawl-delay - директива в файле robots.txt. Она позволяет задавать промежуток времени между закачками страниц с сервера, что стабилизирует работу ресурса в ходе множественных запросов на индексацию.
ПОЛУЧИТЕ ОТВЕТ НА СВОИ ВОПРОСЫ или ОТПРАВЬТЕ ЗАПРОС
Задайте вопрос о продвижении сайта, рекламе или развитии бизнеса или отправьте запрос по работам. Мы стараемся отвечать на Ваши запросы в течение 24 часов.