Formato nuevo
Robots.txt para WordPress: reglas sin plantilla a ciegas
El archivo `robots.txt` en la raíz de WordPress indica a los bots qué rutas es mejor no rastrear. No hay un ideal universal para cada sitio: se interponen permalinks bonitos, plugins SEO y qué secciones quieres en búsqueda.
Abajo: lógica de WordPress que funciona y un marco cuidadoso. No copies plantillas viejas que hacen `Disallow: /wp-` a todo, bloquean `/category/` o tratan Host como sagrado — puedes cerrar CSS/JS o listados útiles con facilidad. Disallow ≠ noindex — ver la guía de cierre a la indexación.
Por qué robots.txt en WordPress
WP sirve admin, includes, feeds, trackbacks, parámetros de query del sistema. Sin reglas el bot gasta crawl budget en basura. Un Disallow mal puesto puede cerrar lo necesario — incluidos assets del tema.
El archivo no sube rankings por sí solo. Es higiene de crawl; la cuota del core en búsqueda es trabajo aparte a lo largo de meses.
Suele cerrarse al crawl:
- `/wp-admin/` (a menudo con Allow en admin-ajax cuando hace falta)
- `/wp-includes/`
- directorios de cache y sistema de plugins
- feeds/trackbacks — caso a caso
- parámetros tech `?` — con cuidado, no cortes filtros útiles de tienda
Qué no copiar de plantillas viejas
Un `Disallow: /wp-` amplio también cierra todo `wp-content` — con estilos y scripts. Para buscadores modernos es mala idea: entienden peor la página.
Banear automáticamente categorías, tags, paginación y toda URL con `?` rompe secciones normales de catálogo y blog. Decide por sitio: lo que debe responder a la demanda, no lo cortes en robots.
Hitos de rutas para WordPress
Base: cierra admin y core, no silencies uploads ni archivos del tema sin motivo, apunta Sitemap por HTTPS. Cuenta con el prefijo de pretty-permalinks (`/blog/`, tienda) en las máscaras.
Los plugins SEO (Yoast, Rank Math, etc.) a menudo ayudan con robots y el sitemap — pero sigue revisando el archivo final con tus ojos.
Rutas habituales
| Ruta | Nota |
|---|---|
| /wp-admin/ | Cierra crawl; ajax — Allow si hace falta |
| /wp-includes/ | Core del sistema |
| /wp-content/plugins/ | Suele cerrarse |
| /wp-content/uploads/ | A menudo se deja abierto |
| /wp-content/themes/ | No cortes a ciegas: hace falta CSS/JS |
| Sitemap: | URL HTTPS del mapa XML |
Marco de ejemplo (no dogma)
Un marco didáctico de ideas — adáptalo a permalinks y plugins. No dupliques un muro de Disallow «por si acaso».
Ideas de líneas:
- `User-agent: *`
- `Disallow: /wp-admin/`
- `Allow: /wp-admin/admin-ajax.php`
- `Disallow: /wp-includes/`
- `Disallow: /wp-content/plugins/`
- `Disallow: /wp-content/cache/`
- `Sitemap: https://example.com/sitemap_index.xml`
Comprobaciones
Abre `/robots.txt` en el navegador; lanza el análisis en Yandex Webmaster y el informe de robots en Google Search Console. Asegúrate de que landings principales y CSS/JS de plantillas clave no estén bajo Disallow.
Tras cambiar tema o plugin, vuelve a revisar el archivo — la generación puede haber cambiado.
Conclusiones
En WordPress robots.txt es higiene quirúrgica de crawl — no «cerrar todo wp- y categorías». Sitemap por HTTPS, checks en paneles, sin obsesión por la directiva Host.
Teoría general Disallow/noindex — en la guía de desindexación; la plantilla Joomla — en el artículo relacionado.
FAQ
¿Dónde está robots.txt en WordPress?
En la raíz del sitio: `https://example.com/robots.txt`. Algunas reglas las puede servir de forma virtual el core o un plugin — comprueba qué responde de verdad en la URL.
¿Puedo bloquear todo /wp-content?
Normalmente no: ahí viven temas, estilos y scripts necesarios para el render. Más a menudo cierras plugins/cache de forma quirúrgica y dejas uploads abiertos.
¿Debo banear /category/ y /tag/?
Solo si los listados son realmente basura para tu estrategia. En muchos blogs las categorías son landings normales. No copies un ban porque lo decía una plantilla de 2018.
¿Es obligatoria la directiva Host?
Históricamente para Yandex. Hoy importan más los 301 y un espejo HTTPS. No sustituyas redirects por una línea Host.
¿En qué se diferencia de robots.txt para Joomla?
Las mismas directivas, rutas de sistema distintas. Principios generales de desindexación — en el artículo de indexación.
¿Robots.txt de WordPress copiado de 2018?
Ajustamos Disallow sin cerrar CSS/JS ni categorías útiles — Sitemap HTTPS y checks en Webmaster.
Hablar del proyecto
