Robots.txt для WordPress

Зачем нужен robots.txt для wordpress? Ответ по этой ссылке. Какой robots.txt должен быть у сайта на WordPress? Долгие поиски привели к такой вот идеальной форме:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: kozyrkov.ru
Sitemap: https://kozyrkov.ru/sitemap.xml
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/

Код можно скопировать и вставить вместо своего в файле robots.txt

А можно скачать по этой ссылке. Не забудьте исправить адреса host и sitemap.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Добавить комментарий

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.

Вверх

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: