Правильный robots.txt для WordPress

Robots.txt для Вордпресс настройка

Один из правильных вариантов robots.txt для Вордпресс

Robots.txt является служебным текстовым файлом, который предназначен исключительно для поисковых роботов. Именно он показывает им какие файлы, папки, страницы сайта следует индексировать, а какие нет. Закрытые от индексации материалы в файле robots.txt никогда не окажутся в индексе поисковой системы.

При оптимизации сайта, очень важно закрыть от индексации ненужные файлы и папки (программную часть CMS и прочее). Это помогает избежать попадания в индекс дублей страниц и другой нежелательной информации.

Важно учитывать, что при наличии у сайта поддоменов: www.фраза.вашдомен.com, необходимо формировать для каждого поддомена свой отдельный robots.txt

После того, как Вы составили свой robots.txt, его необходимо поместить в корень вашего сайта: он должен быть доступен по адресу http://www.вашсайт.com/robots.txt
Тек же, его можно и нужно проверить в панели вебмастера Yandex, Google на правильность составления.

Прошу заметить, что в данной статье не идет речь о директивах robots.txt, а лишь приводится пример одного из используемых вариантов файла robots.txt  для Вордпресс. Если Вы хотите подробнее узнать о данном файле, Вы можете ознакомиться воспользоваться справкой от Yandex тут или Google тут.

Вариант robots.txt для WordPress

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /trackback
Disallow: */*/trackback
Disallow: /tag

Host: www.вашдомен.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /trackback
Disallow: */*/trackback
Disallow: /tag

Sitemap: http://www.вашдомен.ru/sitemap_index.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Подписаться на нашу новостную рассылку Вы можете здесь.

Мы всегда рады новым подписчикам, поэтому часто разыгрываем приятные призы. Помимо новостей, полезных статей по продвижению сайта, мы так же постоянно проводим акции. Участвуя в них, Вы можете выиграть хорошие скидки на разработку и продвижение сайта.