карта сайта

Как настроить индексацию сайта через robots.txt? Файл robots.txt — это текстовый файл в корневом каталоге вашего домена, который инструктирует поисковых