robots.txt

Как запретить индексацию сайта на хостинге: Руководство Иногда вебмастерам нужно скрыть часть или весь сайт от поисковых систем. Будь то ресурс в разработке

Как настроить индексацию сайта через robots.txt? Файл robots.txt — это текстовый файл в корневом каталоге вашего домена, который инструктирует поисковых