Для создания файла robots.txt подойдет любой текстовой редактор, такой как Блокнот или WordPad. Создаем файл «robots.txt». В имени файла не должно содержаться заглавных букв. Формат файла robots.txt состоит из записей. Запись содержит в себе два поля. Первое поле это строчка, которая определяет имена поисковых роботов User-agent, на которых распространяются правила, прописанные файлом. Второе поле состоит из одной или нескольких строк Disallow (запрет), которые запрещают роботам индексацию тех или иных директорий файлов или страниц. Значок # указывает на начало комментария, который заканчивается окончанием строки. Строки, содержащие комментарий, роботами в расчет не принимаются. Комментарии лучше распологать на отдельной строке. User-agent – в это поле вводится имя  поисковика. Принимает следующие значения: User-agent: * - распространяется на все поисковые роботы User-agent: Yandex – запрет распространяется только на поисковые роботы Yandex. Disallow (запрет) – в этом поле указывают директории, файлы или страницы, индексация которых запрещена. Пустое поле Disallow разрешает роботу просматривать все директории и файлы сайта. Ставить пробел в начале Disallow разрешается, но лучше этого не делать.

Примеры

User-agent: *

Disallow:

#  в связи с тем, что используется символ подставки “*”, всем роботам разрешается

#  индексировать все файлы.

User-agent: *

Disallow: /

# данная запись всем роботам запрещает индексировать файлы.

User-agent: *

Disallow: /cgi-bon/

Disallow: /images/

# эта запись всем роботам запрещает проверять каталоги “cgi-bin” и “images”.

User-agent: Yandex

Disallow: /

# эта запись запрещает Yandex индексировать все файлы.

Вот таким образом закрываются все файлы, индексация которых не желательна. Самыми распространенными ошибками при составлении файла являются перевернутый синтаксис, запись нескольких директив в одной строке Disallow, комментарии в конце строки, пробелы в начале строки, перечисление всех файлов в одном каталоге, нет открывающей наклонной черты. После того, как файл robots.txt будет закачан на сервер, его необходимо проверить. Для этого в строке браузера необходимо набрать простой запрос http://mydomain.ru/robots.txt.

рассказать друзьям и получить подарок