Новый формат
Robots.txt для Joomla: правила и осторожный шаблон
Файл `robots.txt` лежит в корне сайта (`https://сайт/robots.txt`) и подсказывает роботам, какие пути лучше не обходить. На Joomla им обычно закрывают `/administrator/`, служебные каталоги и мусорные параметры URL.
Ниже — смысл директив и ориентиры для Joomla. Готовый «идеальный» список из гайдов под Joomla 3.x нельзя слепо копировать на Joomla 4/5: пути, SEF и компоненты отличаются. `robots.txt` не заменяет noindex и не поднимает ТОП за неделю.
Зачем robots.txt на Joomla
Joomla отдаёт много служебных URL: админка, компоненты, параметры печати, голосования, языковые хвосты. Без правил робот тратит краул-бюджет на мусор и иногда тащит дубли в выдачу.
Файл не «продвигает» сайт сам по себе. Он снижает шум. Ошибки в Disallow могут закрыть нужные разделы — поэтому после правок смотрят инструменты вебмастера.
Обычно закрывают:
- админку `/administrator/`;
- служебные каталоги ядра;
- техпараметры (print, mailto, vote и т.п.);
- явные дубли вроде `index2.php` — по ситуации.
Основные директивы
`User-agent: *` — правила для всех роботов; отдельные блоки — для Yandex / Googlebot, если нужно. `Disallow` запрещает обход пути, `Allow` уточняет исключения. `Sitemap:` указывает XML-карту.
`Crawl-delay` когда-то использовали для слабого хостинга; поддержка и смысл у разных роботов различаются — не считайте его обязательным. `Clean-param` (Яндекс) помогает с «шумными» GET-параметрами, если они реально плодят дубли.
Что помнить
| Директива | Смысл |
|---|---|
| User-agent | Кому адресован блок правил |
| Disallow / Allow | Запрет / разрешение обхода путей |
| Sitemap | URL XML-карты |
| Crawl-delay | Пауза между запросами (не везде важна) |
| Clean-param | Игнор «шума» в query (Яндекс) |
Ориентиры для путей Joomla
Базовый набор, с которого часто начинают: закрыть `/administrator/`, `/cache/`, `/cli/` (если есть), `/includes/`, `/language/`, `/libraries/`, `/logs/`, `/tmp/` и типичные техпараметры (`print`, `mailto`, голосования). Точный список сверяйте с версией Joomla и структурой SEF.
Агрессивные запреты вроде «всё с `?`» или целиком `/media/` на одних сайтах полезны, на других ломают нужные URL. Лучше итерации: закрыли служебное → проверили покрытие в панелях → уточнили.
Минимум перед выкладкой:
- админка закрыта от обхода;
- карта сайта указана в `Sitemap:`;
- нет случайного закрытия важных разделов;
- главное зеркало задано редиректами HTTPS/www;
- файл отдаётся как `text/plain` из корня.
Пример каркаса (не догма)
Ниже — учебный каркас идей, а не «скопировал и забыл». Подставьте свой домен карты сайта и адаптируйте под версию Joomla и реальные дубли.
Идеи строк:
- `User-agent: *`
- `Disallow: /administrator/`
- `Disallow: /cache/`
- `Disallow: /tmp/`
- `Disallow: /*format=`
- `Disallow: /*print=`
- `Sitemap: https://example.com/sitemap.xml`
Проверка после публикации
Откройте `/robots.txt` инкогнито, проверьте синтаксис валидатором/отчётом в Яндекс Вебмастере и Google Search Console. Убедитесь, что важные посадочные не попали под Disallow.
Если страница должна быть вне индекса, но на неё ведут ссылки — дополните noindex, а не надейтесь только на robots.txt.
Что запомнить
На Joomla `robots.txt` — гигиена обхода служебных путей и параметров, не кнопка роста позиций. Адаптируйте шаблон под свою версию CMS и проверяйте панели вебмастеров.
Общие принципы закрытия от индексации и разница Disallow vs noindex — в отдельном каноне; шаблоны под WordPress разберём отдельно в очереди миграции.
Частые вопросы
Disallow = не индексировать?
Нет. Disallow просит не обходить URL. Для «не в индекс» надёжнее meta robots / X-Robots-Tag noindex (и доступность для проверки). См. материал про закрытие от индексации.
Где лежит файл на Joomla?
В корне веб-сервера рядом с `index.php`, не в `/administrator/`. После правок проверяйте URL `/robots.txt` в браузере и в Вебмастере/Search Console.
Нужен ли Host?
Исторически Host указывал зеркало для Яндекса. Сегодня главное — корректные 301, HTTPS и предпочтительный хост в панелях. Не опирайтесь только на Host из шаблона 2018.
Закрывать ли /media/ и /templates/?
Зависит от сайта: иногда там лежат нужные для сниппетов ресурсы. Тестируйте; слепой запрет «как в статье» может мешать.
Поможет ли шаблон выйти в ТОП?
Нет напрямую. Это гигиена обхода. Позиции по ядру — отдельная работа на месяцы.
Robots.txt на Joomla шумит?
Соберём правила под вашу версию CMS — без слепого копипаста шаблона 3.3.
Обсудить задачу
