Соглашение о использовании файла robots.txt было принято в 1994 году.   Файл robots.txt  представляет собой обычный текстовой файл, который содержит инструкции для поисковых роботов. Его необходимо располагать в корневом каталоге сайта.  В файле robots.txt прописан запрет для поисковых роботов  к индексации тех или иных страниц. Когда поисковый робот начинает проводить индексацию содержимого нашего сайта, он первым делом обращается к файлу robots.txt, который расположен по адресу http:// ваш сайт/robots/txt, и если файл найден не будет , то будет просканировано все содержимое сайта. От индексации закрываются, прежде всего, страницы, от которых нет практической пользы:  служебные страницы, цитирование,  шаблонное комментирование,  каталоги со скриптами. Для того, чтобы узнать какие файлы нужно закрыть, заходим в расширенный поиск  Yandex в поле «на сайте» вводим имя своего домена и нажимаем «найти». Ненужные страницы обязательно нужно закрывать в robots.txt.  Это повышает доверие поисковых роботов к сайту и избавит от ненужных страниц поисковую выдачу .

рассказать друзьям и получить подарок