Que Es El Robots.txt o Googlebot
Que es el archivo robots.txt
Un archivo robots.txt en un sitio web funcionará como una petición que especifica que determinados robots no hagan caso a archivos o directorios específicos en su búsqueda. Esto puede realizarse, por ejemplo, para dejar fuera de una preferencia los resultados de una búsqueda avanzada, o de la creencia que el contenido de los directorios seleccionados puede ser engañoso o inaplicable a la clasificación del sitio en su totalidad.Especificaciones de la metaetiqueta "robots" y de la cabecera HTTP "X-Robots-Tag"
En este Tutoriales En Linea se explica cómo interpreta Google la configuración de la indexación de páginas que permite controlar la forma en que Google muestra el contenido a través de los resultados de búsqueda. Esta información se puede especificar incluyendo una metaetiqueta en páginas HTML (X) o en una cabecera HTTP.<meta name="robots" content="index,follow">Nota: Ten en cuenta que la configuración solo se puede leer y seguir si los rastreadores pueden acceder a las páginas en las que se encuentra esta información.
Usar la metaetiqueta "robots"
La metaetiqueta "robots" permite utilizar un enfoque preciso y específico de una página para controlar la forma en que se debe indexar una página en concreto y cómo se debe mostrar a los usuarios en los resultados de búsqueda. Incluye la metaetiqueta "robots" en la sección <head> de una página determinada. Por ejemplo:<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />
(…)
</head>
<body>(…)</body>
</html><meta name="googlebot" content="noindex" />Los motores de búsqueda pueden tener distintos rastreadores con propiedades y fines diferentes. Consulta una lista completa de los rastreadores de Google. Por ejemplo, para mostrar una página en los resultados de búsqueda web de Google, pero no en Google Noticias, utiliza la siguiente metaetiqueta:
<meta name="googlebot-news" content="noindex" /><meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">Ejemplos
Este ejemplo permite que todos los robots visiten todos los archivos que se encuentran almacenados en el código raíz de la página web porque el comodín * especifica todos los robots:User-agent: *
Disallow:Este ejemplo les niega el acceso a todos los bots (implementando el comodín [/]), en todos los archivos almacenados en el directorio raíz:
User-agent: *
Disallow: /Este ejemplo permite el acceso a un solo bot:
User-agent: Unsolobot # Donde Unsolobot es el nombre del bot al que le queremos permitir el acceso
Disallow:
User-agent: *
Disallow: /User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/User-agent: BadBot # sustituir 'BadBot' con el nombre del bot
Disallow: /private/User-agent: *
Disallow: /directory/file.htmlEjemplo usando comentarios
# Los comentarios aparecen tras el símbolo "#"al comienzo de una línea o al final de un directorio
User-agent: * # todos los bots
Disallow: / # impedir su entradaUser-agent: *
Disallow:/portal/
Disallow:/portal/
Disallow:/wp-*
Disallow:/?FICTICIA=LADRONES=MONOPOLIO
Disallow:/?Monopolio
Disallow:/?Ficticia
Disallow:/?
Disallow:/?*
Disallow:/author/
Disallow:/category/
Disallow:/portal/
Disallow:/search/
Disallow:/home2/
Disallow:/sg0-no-tocar/
Disallow:/sg1-no-tocar/
Disallow:/sg2-no-tocar/
Disallow:/sg3-no-tocar/
Disallow:/sg4-no-tocar/
Disallow:/sg5-no-tocar/
Disallow:/sg-5-no-tocar/
Disallow:/sg-4-no-tocar/
Disallow:/sg-3-no-tocar/
Disallow:/sg-2-no-tocar/
Disallow:/sg-1-no-tocar/
Disallow:/sg*
Disallow:/search/search-es.jsp?texto=<a href="">ladrones</a>
Disallow:/search/search-es.jsp?texto=%3Cscript%3Ealert(%22efectivamente,%20somos%20unos%20ladrones%22);%3C/script%3E
Disallow:/search/search-es.jsp?texto=%3Ch1%3ESomos%20unos%20ladrones%20salgamos%20primeros%20en%20google%20o%20no%3C/h1%3E
Disallow:/search/search-es.jsp?texto=%3Ca%20href=%22%22%3Eladrones%3C/a%3E
Disallow:/?utm_source=example.com/blog
