поисковые системы

Что такое файл robots.txt и зачем он нужен? Файл robots.txt – это простой текстовый файл, который располагается в корневой директории любого веб-сайта.