Данный файл находится в корневом каталоге ресурса и содержит инструкции поисковым роботам. Для его настроек применяются две основные директивы, которые помогают закрывать или открывать для индексации страницы сайта или разделы.
Какими способами можно создать Robots.txt?
Данный файл находится глубоко в корневом каталоге сайта и содержит детальные инструкции, предназначенные для поисковых роботов. С его помощью можно ставить запрет на индексацию некоторых разделов или страниц Вашего ресурса, а также указывать основное зеркало сайта и определять путь к файлу sitemap.Создать Robots.txt будет очень полезно, когда необходимо закрыть от индексации технические разделы Вашего ресурса. В том случае, если технические разделы сайта открыты для индексации, то поисковик обязательно попытается выбросить их из процесса индексации, а из-за этого могут пострадать полезные страницы ресурса. Сейчас попытаемся разобраться с некоторыми нюансами того, как можно создать Robots.txt.
Как создать файл с инструкциями?
Для того чтобы создать Robots.txt можно воспользоваться самым обычным блокнотом, а затем поместить файл в корневой каталог ресурса. Так, когда робот поисковой системы зайдет на Ваш сайт, то первым делом он прочтет данный файл с инструкциями.Настройки файла
Для настоек данного файла принято использовать две основные директивы: User-agent и Disallow. Первая директива предназначена для определения поискового робота, который будет выполнять запрет на процесс индексации, прописанный в директиве Disallow. Некоторые настройки директив могут даже запретить индексацию всего сайта для всех поисковиков. Если же после директивы Disallow будет прописан адрес к какому-либо разделу или каталогу, то их индексация не будет осуществляться поисковыми машинами.Запомните, что не следует прописывать в одной строке несколько путей одновременно, поскольку оформленная таким образом строка не будет работать. Когда возникает необходимость наоборот разрешить к индексации определенный файл или директорию, то лучше воспользоваться командой Allow. В Robots.txt используются также дополнительные директивы.
Так, например, директива Host пригодится Вам в том случае, когда на ресурсе имеется несколько зеркал. Она поможет указать на основное зеркало Вашего ресурса, и именно этот файл будет присутствовать в выдаче поисковых систем.
Такая команда как Sitemap предназначена для помощи поисковым роботам в поиске файла с картой Вашего ресурса.
Следующая директива, Crawl-delay, помогает создать задержку между загрузками страничек Вашего сайта поисковыми роботами. Эта команда станет чрезвычайно полезной в том случае, когда на Вашем ресурсе имеется очень большое количество страниц.
Директива Visit-time создана для определения промежутка времени, во время которого поисковому роботу разрешается загружать страницы. Рекомендуется выставлять время по Гринвичу.
Какой вред от неправильных настроек
Некорректные настройки данного файла чреваты тем, что к индексации могут открыться страницы, которые содержат конфиденциальные данные о пользователях или Ваших клиентах. Может быть и наоборот, полезные и интересные для пользователей страницы будут запрещены для индексации поисковыми системами.Проверка правильности настроек файла
С целью проверки правильности настроек следует воспользоваться сервисом Яндекс.Вебмастера, который называется Анализ Robots.txt. Для этого необходимо вписать в поле имя домена, который вы желаете проверить, и все ошибки будут отображены.
Координатор проекта Валерий Крайнов crystall.seo@gmail.com
ICQ 610140175
