Ver contenido
La etiqueta meta robots es una instrucción HTML que controla cómo los motores de búsqueda indexan y siguen enlaces en páginas específicas. Según la documentación de metadatos HTML de Web.dev² y los ejemplos prácticos de Ahrefs¹, es fundamental para gestionar qué contenido aparece en los resultados de búsqueda y cómo se distribuye el presupuesto de rastreo.
¿Qué es la etiqueta meta robots?
La etiqueta meta robots es un elemento <meta> en el <head> de su HTML que da instrucciones directas a los rastreadores de motores de búsqueda (como Googlebot). Según las mejores prácticas de metadatos HTML de Web.dev², este elemento debe estar correctamente ubicado dentro de la sección <head> del documento.
Ejemplo básico¹:
<head>
<meta name="robots" content="index, follow" />
</head>
Cómo funciona:
- Googlebot visita su página
- Lee la etiqueta
<meta name="robots"> - Obedece las instrucciones (indexar/no indexar, seguir enlaces/no seguir)
- Procesa la página según las directivas
Diferencia entre robots.txt y robots meta tag
| Aspecto | robots.txt | robots meta tag |
|---|---|---|
| Ubicación | Raíz del dominio (/robots.txt) | <head> de cada página HTML |
| Alcance | Todo el sitio o secciones | Página individual |
| Función | Bloquea el rastreo | Controla la indexación y el seguimiento de enlaces |
| Prioridad | Primera barrera | Segunda instrucción (si la página fue rastreada) |
Importante: robots.txt bloquea el rastreo, robots meta tag controla la indexación después del rastreo.
Principales directivas de robots meta tag
1. index vs noindex
index (predeterminado): Permite que la página aparezca en los resultados de búsqueda.
<meta name="robots" content="index" />
noindex: Impide que la página aparezca en los resultados de búsqueda.
<meta name="robots" content="noindex" />
Cuándo usar noindex:
- Páginas de login/registro
- Páginas de confirmación de pedidos
- Páginas de administración internas
- Contenido duplicado temporal
- Páginas de agradecimiento después de enviar formularios
- Páginas de resultados de búsqueda interna
Ejemplo real - E-commerce:
<!-- Página de producto: indexar -->
<head>
<title>iPhone 15 Pro Max - Comprar Online</title>
<meta name="robots" content="index, follow" />
</head>
<!-- Carrito de compras: NO indexar -->
<head>
<title>Carrito de Compras</title>
<meta name="robots" content="noindex, follow" />
</head>
2. follow vs nofollow
follow (predeterminado): Googlebot sigue los enlaces en la página para descubrir más contenido.
<meta name="robots" content="follow" />
nofollow: Googlebot NO sigue los enlaces en esta página. Como se explica en la documentación de enlaces HTML de Web.dev³, la directiva nofollow indica a los rastreadores que no sigan los enlaces presentes en la página.
<meta name="robots" content="nofollow" />
Cuándo usar nofollow:
- Páginas con muchos enlaces externos no verificados
- Páginas de comentarios de usuarios (si no están moderadas)
- Páginas de agradecimiento con enlaces externos
- Páginas de campañas temporales
Nota: nofollow en robots meta tag es diferente de rel="nofollow" en enlaces individuales³.
3. Combinaciones comunes
Como demuestran los ejemplos de etiquetas meta SEO de Ahrefs¹, las combinaciones más utilizadas son:
<!-- Indexar página y seguir enlaces (PREDETERMINADO) -->
<meta name="robots" content="index, follow" />
<!-- NO indexar pero SÍ seguir enlaces (páginas de navegación internas) -->
<meta name="robots" content="noindex, follow" />
<!-- Indexar pero NO seguir enlaces (páginas con enlaces externos) -->
<meta name="robots" content="index, nofollow" />
<!-- NO indexar NI seguir enlaces (bloqueo completo) -->
<meta name="robots" content="noindex, nofollow" />
Atajo: Puede usar all o none:
<!-- Equivalente a: index, follow -->
<meta name="robots" content="all" />
<!-- Equivalente a: noindex, nofollow -->
<meta name="robots" content="none" />
4. Directivas avanzadas de Google
noarchive
Impide que Google muestre el enlace “En caché” en los resultados de búsqueda.
<meta name="robots" content="noarchive" />
Cuándo usar:
- Contenido que cambia frecuentemente (precios, disponibilidad)
- Páginas de información sensible al tiempo
- Contenido de suscripción/muro de pago
nosnippet
Impide que Google muestre la descripción/fragmento en los resultados (solo muestra título y URL).
<meta name="robots" content="nosnippet" />
Efecto secundario: También aplica automáticamente noarchive.
max-snippet
Limita la longitud del fragmento a N caracteres.
<!-- Máximo 160 caracteres de fragmento -->
<meta name="robots" content="max-snippet:160" />
<!-- Sin fragmento -->
<meta name="robots" content="max-snippet:0" />
<!-- Sin límite (predeterminado) -->
<meta name="robots" content="max-snippet:-1" />
max-image-preview
Controla el tamaño máximo de la vista previa de imagen.
<!-- Sin vista previa de imagen -->
<meta name="robots" content="max-image-preview:none" />
<!-- Vista previa estándar -->
<meta name="robots" content="max-image-preview:standard" />
<!-- Vista previa grande (recomendado para artículos) -->
<meta name="robots" content="max-image-preview:large" />
max-video-preview
Limita la duración del fragmento de video.
<!-- Máximo 30 segundos -->
<meta name="robots" content="max-video-preview:30" />
<!-- Sin límite -->
<meta name="robots" content="max-video-preview:-1" />
notranslate
Impide que Google ofrezca traducir la página.
<meta name="robots" content="notranslate" />
noimageindex
Impide que las imágenes de la página sean indexadas.
<meta name="robots" content="noimageindex" />
Cuándo usar:
- Imágenes con derechos de autor protegidos
- Imágenes de productos antes del lanzamiento oficial
Resolución de Conflictos
Cuando existen valores contradictorios (por ejemplo, una directiva index en el HTML y otra noindex en el encabezado HTTP), Google aplica siempre la combinación más restrictiva: noindex gana sobre index, y nofollow gana sobre follow.
Directivas específicas por bot
Puede dar diferentes instrucciones a bots específicos:
<!-- Instrucción para todos los bots -->
<meta name="robots" content="noindex, follow" />
<!-- Instrucción específica para Googlebot (tiene prioridad) -->
<meta name="googlebot" content="index, follow" />
<!-- Instrucción para Bingbot -->
<meta name="bingbot" content="index, follow" />
Bots comunes:
googlebot- Googlebingbot- Bingslurp- Yahoo (ahora usa Bingbot)duckduckbot- DuckDuckGobaiduspider- Baidu
Ejemplo práctico:
<!-- Permitir Google pero bloquear Bing -->
<meta name="robots" content="noindex, nofollow" />
<meta name="googlebot" content="index, follow" />
Casos de uso comunes
Caso 1: Página de login
<head>
<title>Login - Mi Sitio</title>
<meta name="robots" content="noindex, nofollow" />
</head>
Por qué: No desea que las páginas de login aparezcan en las búsquedas ni que Googlebot pierda tiempo rastreando enlaces internos detrás del login.
Caso 2: Páginas de categorías con paginación
<!-- Página 1 (principal) -->
<head>
<title>Productos - Página 1</title>
<meta name="robots" content="index, follow" />
</head>
<!-- Página 2, 3, 4... (paginación) -->
<head>
<title>Productos - Página 2</title>
<meta name="robots" content="noindex, follow" />
</head>
Por qué: Evitar contenido duplicado indexando solo la primera página, pero aún permitiendo que Googlebot descubra productos en páginas posteriores.
Caso 3: Contenido temporal/estacional
<!-- Campaña Black Friday (válida solo en noviembre) -->
<head>
<title>Black Friday 2025 - Ofertas Especiales</title>
<meta name="robots" content="noindex, follow" />
</head>
Por qué: Evitar que Google indexe contenido que será irrelevante en 1 mes.
Caso 4: Páginas de agradecimiento
<head>
<title>Gracias por su Compra</title>
<meta name="robots" content="noindex, nofollow" />
</head>
Por qué: Sin valor SEO, los usuarios no deben llegar directamente desde Google.
Caso 5: Contenido de baja calidad o escaso
<!-- Página de archivo con solo 2 publicaciones -->
<head>
<title>Archivo: Enero 2020</title>
<meta name="robots" content="noindex, follow" />
</head>
Por qué: Proteger su sitio de posibles penalizaciones por contenido escaso.
Errores comunes y cómo evitarlos
Error 1: Bloquear en robots.txt + noindex
<!-- ❌ MAL: robots.txt bloquea /admin/ -->
# robots.txt
User-agent: *
Disallow: /admin/
<!-- Esta página NUNCA será vista por Googlebot -->
<head>
<meta name="robots" content="noindex, follow" />
</head>
Problema: Si robots.txt bloquea la página, Googlebot nunca ve la etiqueta meta noindex. La página podría aparecer en los resultados (sin descripción) si tiene enlaces externos.
Solución:
# robots.txt - NO bloquear
User-agent: *
# Disallow: /admin/ ← ELIMINAR ESTO
<!-- Usar solo meta tag -->
<meta name="robots" content="noindex, nofollow" />
Error 2: noindex en toda la página por error
<!-- ❌ MAL: noindex en página de inicio -->
<head>
<title>Mi Sitio - Página de Inicio</title>
<meta name="robots" content="noindex, follow" />
</head>
Consecuencia: Su sitio desaparece de Google.
Solución: Auditar regularmente qué páginas tienen noindex.
Error 3: Sintaxis incorrecta
<!-- ❌ MAL: Espaciado incorrecto -->
<meta name="robots" content="noindex,follow" />
<!-- ❌ MAL: Orden incorrecto (no importa pero confunde) -->
<meta name="robots" content="follow, noindex" />
<!-- ✅ BIEN: Espacio después de la coma -->
<meta name="robots" content="noindex, follow" />
Error 4: Usar nofollow cuando quería decir noindex
<!-- ❌ MAL: Quiere que NO se indexe pero escribió solo nofollow -->
<meta name="robots" content="nofollow" />
<!-- Resultado: La página SÍ se indexa -->
<!-- ✅ BIEN -->
<meta name="robots" content="noindex, follow" />
Error 5: Olvidar que noindex toma tiempo
Problema: Usted agrega noindex y espera que la página desaparezca de Google inmediatamente.
Realidad: Google necesita volver a rastrear la página para ver el cambio. Puede tomar días o semanas.
Solución rápida: Use Google Search Console → “Solicitar indexación” para acelerar el proceso.
Cómo verificar robots meta tags con UXR SEO Analyzer
Nuestra extensión de Chrome verifica automáticamente:
- Presencia de robots meta tag: Detecta si existe
- Directivas activas: Muestra qué instrucciones están configuradas
- Conflictos con robots.txt: Alerta si robots.txt bloquea pero tiene noindex
- Páginas con noindex accidental: Identifica páginas importantes que no deberían tener noindex
- Combinaciones sospechosas: Detecta configuraciones poco comunes
Cómo usar la extensión:
- Instalar UXR SEO Analyzer desde Chrome Web Store
- Visitar cualquier página de su sitio
- Abrir extensión → pestaña “Basic SEO”
- Revisar sección “Robots Meta Tag”
- Seguir recomendaciones específicas
Próximos pasos
Profundice sus conocimientos sobre control de rastreo e indexación:
- Robots Meta Tag: Guía técnica completa - Directivas avanzadas, encabezado HTTP X-Robots-Tag, estudios de caso
- URL canónica: Guía completa - Otra forma de manejar contenido duplicado
- robots.txt: Guía completa - Control de rastreo a nivel de sitio
Referencias
Este artículo cita las siguientes fuentes autorizadas:
[1] Ahrefs Blog: SEO Meta Tags - Robots Examples https://ahrefs.com/blog/seo-meta-tags Practical robots meta tag examples with common directives including index/follow and noindex/follow combinations. Provides consistent code examples for real-world robots meta tag implementation. Ahrefs is a leading SEO industry authority.
[2] web.dev: Metadata - General Meta Tags https://web.dev/learn/html/metadata Comprehensive HTML metadata implementation guidance covering proper meta tag structure and W3C-aligned best practices. Ensures correct placement of robots directives within the document head section.
[3] web.dev: HTML Links - nofollow Attribute https://web.dev/learn/html/links W3C-aligned best practices for HTML link attributes including nofollow directive. Explains how nofollow functions both as a link attribute and meta robots directive.
Recursos externos
- Google Search Central: Robots Meta Tag - Documentación oficial
- Google: Robots meta tag specifications - Lista completa de directivas
- Moz: Meta Robots Tag Guide - Guía detallada
- Bing: Robots Meta Tag - Directivas compatibles con Bing
¿Necesita verificar su robots meta tag? Use nuestra extensión UXR SEO Analyzer para análisis instantáneo de directivas, detección de conflictos y recomendaciones específicas.