metatag Robots, para que sirve
La metaetiqueta «robots» permite utilizar un enfoque granular y a nivel de página para controlar cómo se deben indexar y servir a los usuarios páginas concretas en los resultados de la Búsqueda de Google.
<meta name="robots" content="noindex" />La metaetiqueta «robots» del ejemplo anterior indica a los buscadores que no muestren esa página en los resultados de búsqueda.
Como el atributo name tiene el valor robots, la directiva se aplica a todos los rastreadores.
Para aplicarla a un rastreador específico, sustituye el valor robots del atributo name por el nombre del rastreador en cuestión.
Los rastreadores específicos también se denominan user-agent (los rastreadores utilizan su user-agent para solicitar acceso a una página).
El nombre de user-agent del rastreador web estándar de Google es Googlebot.
<meta name="googlebot" content="noindex" />Los buscadores pueden tener distintos rastreadores con propiedades y fines diferentes.
Directivas de la metaetiqueta «robots» y los elementos «data-nosnippet» y «X-Robots-Tag»
all
No hay restricciones de indexación ni de publicación. Esta directiva es el valor predeterminado y no tiene ningún efecto si se utiliza de forma explícita.
noindex
No se muestra la página en los resultados de búsqueda.
nofollow
No se siguen los enlaces de la página.
none
Equivalente a noindex, nofollow.
noarchive
No se muestra ningún enlace en caché en los resultados de búsqueda.
nosnippet
No se muestra ningún fragmento ni la vista previa de ningún vídeo en los resultados de búsqueda de la página. Es posible que se siga mostrando una miniatura de imagen estática (si está disponible) si permite obtener una mejor experiencia de usuario.
Esto se aplica a todas las formas de resultados de búsqueda (en la Búsqueda web de Google, Google Imágenes o Discover).
max-snippet:[number]
Se usan un máximo de [number] caracteres como fragmento de texto para este resultado de búsqueda (ten en cuenta que una URL puede aparecer como varios resultados de búsqueda en una página de resultados de búsqueda).
No afecta a las vistas previas de imágenes o vídeos y, además, se aplica a todas las formas de resultados de búsqueda (como la Búsqueda web de Google, Google Imágenes, Descubrir o el Asistente). Sin embargo, este límite no se aplica en los casos en los que un editor haya concedido permiso por separado para utilizar el contenido.
Por ejemplo, si el editor proporciona contenido en forma de datos estructurados en la página o tiene un acuerdo de licencia con Google, esta configuración no interrumpe los usos permitidos más específicos. Esta directiva se ignora si no se especifica ningún elemento [number] que se pueda analizar.
Valores especiales:
0: no se mostrará ningún fragmento. Equivalente a nosnippet.
-1: no hay límite de longitud de fragmentos.
Ejemplo: max-image-preview:[setting]
Se establece el tamaño máximo de una vista previa de imagen para la página en los resultados de búsqueda.
Valores setting aceptados:
- none
No se mostrará ninguna vista previa de la imagen. - standard
Es posible que se muestre una vista previa de la imagen predeterminada. - large
Es posible que se muestre una vista previa más grande de una imagen, hasta el ancho del viewport.
Se aplica a todo tipo de resultados de búsqueda (como la Búsqueda web de Google, Google Imágenes, Discover o el Asistente). Sin embargo, este límite no se aplica en los casos en los que un editor haya concedido permiso por separado para utilizar el contenido.
Por ejemplo, si el editor proporciona contenido en forma de datos estructurados en la página, como AMP y versiones canónicas de un artículo, o tiene un acuerdo de licencia con Google, esta configuración no interrumpirá los usos permitidos más específicos.
Los editores que no quieran que Google muestre imágenes en miniatura de mayor tamaño cuando sus páginas AMP y la versión canónica de un artículo aparezcan en la búsqueda o en Discover deben especificar un valor max-image-preview de standard o none.
Ejemplo: max-video-preview:[number]
Utiliza fragmentos de vídeo de [number] segundos como máximo para los vídeos de esta página en los resultados de búsqueda.
Otros valores admitidos:
0: como máximo, se puede utilizar una imagen estática, de acuerdo con la configuración de «max-image-preview».
-1: no hay límite.
Se aplica a todo tipo de resultados de búsqueda (en la Búsqueda web de Google, Google Imágenes, Google Vídeos, Discover o el Asistente).
Esta directiva se ignora si no se especifica ningún elemento [number] que se pueda analizar.
Ejemplo:
- notranslate
No se ofrece una traducción de esta página en los resultados de búsqueda. - noimageindex
No se indexan las imágenes de esta página. - unavailable_after: [date/time]
No se muestra esta página en los resultados de búsqueda después de la fecha y hora especificadas. La fecha y la hora deben especificarse en formatos ampliamente aceptados, como RFC 822, RFC 850 o ISO 8601. Esta directiva se ignora si no se especifica ningún valor [date/time] válido. De forma predeterminada, el contenido no tiene fecha de caducidad.
https://developers.google.com/search/reference/robots_meta_tag
Consulta la lista completa de los rastreadores de Google.
| Rastreador | Token de user-agent (token de producto) | Cadena de user-agent completa |
|---|---|---|
| APIs-Google | APIs-Google | APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html) |
| AdSense | Mediapartners-Google | Mediapartners-Google |
| AdsBot Mobile Web Android Comprueba la calidad de los anuncios ubicados en las páginas web que se muestran en un dispositivo Android. | AdsBot-Google-Mobile | Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http:/www.google.com/mobile/adsbot.html) |
| AdsBot Mobile Web Comprueba la calidad de los anuncios ubicados en las páginas web que se muestran en un iPhone. | AdsBot-Google-Mobile | Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http:/www.google.com/mobile/adsbot.html) |
| AdsBot Comprueba la calidad de los anuncios ubicados en las páginas web que se muestran en un ordenador. | AdsBot-Google | AdsBot-Google (+http:/www.google.com/adsbot.html) |
| Googlebot Image | Googlebot-Image Googlebot | Googlebot-Image/1.0 |
| Googlebot News | Googlebot-News Googlebot | Googlebot-News |
| Googlebot Video | Googlebot-Video Googlebot | Googlebot-Video/1.0 |
| Googlebot (ordenadores) | Googlebot | Mozilla/5.0 (compatible; Googlebot/2.1; +http:/www.google.com/bot.html) Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http:/www.google.com/bot.html) Chrome/W.X.Y.Z‡ Safari/537.36o (se utiliza con poca frecuencia): Googlebot/2.1 (+http:/www.google.com/bot.html) |
| Googlebot (smartphones) | Googlebot | Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z‡ Mobile Safari/537.36 (compatible; Googlebot/2.1; +http:/www.google.com/bot.html) |
| Mobile AdSense | Mediapartners-Google | (En varios tipos de dispositivos móviles) (compatible; Mediapartners-Google/2.1; +http:/www.google.com/bot.html) |
| Mobile Apps Android Comprueba la calidad de los anuncios ubicados en las páginas web que se muestran en aplicaciones para Android. Sigue las reglas de robots de AdsBot-Google. | AdsBot-Google-Mobile-Apps | AdsBot-Google-Mobile-Apps |
| Feedfetcher | FeedFetcher-Google No sigue las reglas del archivo robots.txt. Averigua por qué. | FeedFetcher-Google; (+http:/www.google.com/feedfetcher.html) |
| Google Read Aloud | Google-Read-Aloud No sigue las reglas del archivo robots.txt. Averigua por qué. | User-agent activo:Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943) User-agent antiguo (obsoleto):google-speakr |
| Duplex on the Web | DuplexWeb-Google Puede que ignore el comodín * en el campo de user-agent. Averigua por qué. | Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36 |
| Google Favicon Consigue iconos de página de distintos servicios. | Google Favicon Ignora las reglas de robots.txt en las solicitudes iniciadas por usuarios. | Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon |
Por ejemplo, para mostrar una página en los resultados de búsqueda web de Google, pero no en Google Noticias, utiliza la siguiente metaetiqueta:
<meta name="googlebot-news" content="noindex" />Para especificar varios rastreadores de forma individual, puedes utilizar varias metaetiquetas «robots»:
<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">metatag NOODP, para que sirve
Si tu sitio web está listado en el Open Directory Project (DMOZ), los buscadores puede elegir por utilizar el titulo y la descripción de DMOZ en sus resultados de sus búsquedas y no lo que consta en tu pagina web, unas veces ocurre también por que en tu pagina esta faltando el titulo y/o meta descripción.
Para evitar este comportamiento se debe hacer uso de la meta tag NOODP, si por el contrario si que queremos forzar a que los datos los extraiga de DMOZ debemos poner ODP.
Común para todos los buscadores
<meta name="" content="noodp"> Datos propios
<meta name="" content="odp"> Datos de DMOZBuscadores específicos
En el name poner el nombre del robot de búsqueda
Robot de Google
<meta name="googlebot" content="noodp"> No DMOZ
<meta name="googlebot" content="odp"> Si DMOZRobot de Yahoo
<meta name="slurp" content="noodp"> No DMOZ
<meta name="slurp" content="odp"> Si DMOZRobot de Bing
<meta name="msnbot" content="noodp"> No DMOZ
<meta name="msnbot" content="odp"> Si DMOZNOTA: El 17 de marzo de 2017 se dio de baja este servicio, con lo que esta meta no tiene ninguna utilidad a fecha de hoy.
Puedes navegar por lo que era dmoz.org, aqui.
