Новый формат
Robots.txt для WordPress: правила без слепого шаблона
Файл `robots.txt` в корне WordPress подсказывает роботам, какие пути лучше не обходить. Универсального «идеала на все сайты» нет: мешают ЧПУ, плагины SEO и то, какие разделы вы хотите в поиске.
Ниже — рабочая логика для WP и осторожный каркас. Старые шаблоны с `Disallow: /wp-` на весь контент, закрытием `/category/` и культом Host копировать нельзя: так легко запретить CSS/JS или нужные листинги. Disallow ≠ noindex — см. канон про закрытие от индексации.
Зачем robots.txt на WordPress
WP отдаёт админку, includes, фиды, trackback, служебные query-параметры. Без правил робот тратит обход на мусор. Ошибка в Disallow может закрыть нужное — в том числе ресурсы темы.
Файл не поднимает позиции сам по себе. Это гигиена краулинга; ТОП по ядру — отдельная работа на месяцы.
Обычно закрывают от обхода:
- `/wp-admin/` (часто с Allow на admin-ajax при необходимости);
- `/wp-includes/`;
- кэш и служебные каталоги плагинов;
- фиды/trackback — по ситуации;
- техпараметры `?` — осторожно, не режьте нужные фильтры магазина.
Что не копировать из старых шаблонов
Широкий `Disallow: /wp-` закрывает и `wp-content` целиком — вместе со стилями и скриптами. Для современных поисковиков это плохая идея: хуже понимают страницу.
Автозапрет категорий, тегов, пагинации и всех URL с `?` ломает нормальные разделы каталога и блога. Решайте по сайту: что должно отвечать на спрос, то не режьте в robots.
Ориентиры для путей WordPress
База: закрыть админку и ядро, не глушить uploads и файлы темы без причины, указать Sitemap по HTTPS. Префикс ЧПУ (`/blog/`, магазин) учитывайте в масках.
Плагины SEO (Yoast, Rank Math и др.) часто помогают с robots и картой сайта — но итоговый файл всё равно проверяйте глазами.
Частые пути
| Путь | Комментарий |
|---|---|
| /wp-admin/ | Закрыть обход; ajax — по необходимости Allow |
| /wp-includes/ | Служебное ядро |
| /wp-content/plugins/ | Обычно закрывают |
| /wp-content/uploads/ | Часто оставляют открытым |
| /wp-content/themes/ | Не режьте слепо: нужны CSS/JS |
| Sitemap: | HTTPS URL XML-карты |
Пример каркаса (не догма)
Учебный каркас идей — адаптируйте под ЧПУ и плагины. Не дублируйте простыню Disallow «на всякий случай».
Идеи строк:
- `User-agent: *`
- `Disallow: /wp-admin/`
- `Allow: /wp-admin/admin-ajax.php`
- `Disallow: /wp-includes/`
- `Disallow: /wp-content/plugins/`
- `Disallow: /wp-content/cache/`
- `Sitemap: https://example.com/sitemap_index.xml`
Проверка
Откройте `/robots.txt` в браузере, прогоните анализ в Яндекс Вебмастере и отчёт robots в Google Search Console. Убедитесь, что главные посадочные и CSS/JS ключевых шаблонов не под Disallow.
После смены темы/плагина перепроверьте файл — генерация могла измениться.
Что запомнить
На WordPress robots.txt — точечная гигиена обхода, не «закрыть всё wp- и категории». Sitemap по HTTPS, проверка в панелях, без культа Host.
Общая теория Disallow/noindex — в каноне про закрытие от индексации; шаблон под Joomla — в смежной статье.
Частые вопросы
Где лежит robots.txt в WordPress?
В корне сайта: `https://сайт/robots.txt`. Часть правил может отдавать ядро/плагин виртуально — смотрите, что реально отвечает по URL.
Можно ли закрыть весь /wp-content?
Обычно нет: там темы, стили и скрипты, нужные для отрисовки. Чаще точечно закрывают plugins/cache, а uploads оставляют доступными.
Нужно ли запрещать /category/ и /tag/?
Только если листинги реально мусорные для вашей стратегии. Для многих блогов категории — нормальные посадочные. Не копируйте запрет «потому что в шаблоне 2018».
Host обязателен?
Исторически для Яндекса. Сегодня важнее 301 и HTTPS-зеркало. Не заменяйте редиректы строкой Host.
Чем отличается от robots для Joomla?
Те же директивы, другие служебные пути. Общие принципы закрытия — в материале про индексацию.
Robots.txt на WordPress путает обход?
Соберём правила без запрета всего wp-content и слепого закрытия категорий.
Обсудить задачу
