Uso del robots.txt

En este Tutoriales En Linea les damos unos simples consejos para usar el archivo robots.txt en tu servidor web para administrar tu presupuesto de rastreo es una práctica muy interesante para mejorar tu visibilidad, sobre todo para proyectos muy grandes, ya que evita el rastreo de espacios infinitos, como las páginas de resultados de búsqueda.Hoy en día es relativamente sencillo montar un negocio online. Contratamos un dominio, un servidor, instalamos un CMS como Magento o Prestashop, un diseño de plantilla web responsive, volcamos el contenido y ya está. Ya tenemos nuestro primer negocio online. Luego viene la cruda realidad: la página tiene muy poco tráfico y apenas consigo ventas mensuales. El emprendedor pierde la motivación y al final acaba por invertir en Google adwords (Google ads) o en la mayoría de los casos por cerrar la página.

Igual hace unos años, este tipo de emprendedor acababa por tener éxito, pero no porque hiciera las cosas bien, simplemente había menos competencia y era mucho más sencillo darle notoriedad a su proyecto aunque cometieras mil fallos.
Sin embargo, hoy en día, hay que seguir sí o sí unas pautas antes de abrir cualquier negocio en Internet. Antes de abrir cualquier tipo de negocio hay que hacer un estudio del producto que quieres vender en Internet, la saturación del mercado, lo saturado que estén las palabras claves que vayas a usar para que te localicen, la cantidad de tráfico que puedes conseguir diario haciendo un buen SEO…

Hay nichos en los que actualmente no merece la pena meterse, la competencia es tan feroz que es prácticamente imposible conseguir tráfico de calidad sin invertir ingentes cantidades de dinero. De esto hablaré en otro Tutoriales En Linea,

Este consejo vale para cualquier tipo de proyecto, pero lo notaremos mucho más si en nuestro e-commerce tenemos un amplio catálogo de productos.

Normalmente Google nos tiene asignado un tiempo determinado para indexar nuestra página: ¿Cuánto tiempo? pues depende del proyecto, de la importancia que le de Google a nuestro e-commerce, ya os adelante que al principio será poco e irá aumentando conforme vayamos generando contenido de calidad.

Como optimizar

Lo primero es identificar cuales son las páginas más importantes de tu proyecto, las que más tráfico pueden generar o los productos que mayor beneficio te dejan. 

No es lo mismo que una página tenga en su cabecera no-index, Incluso si has puesto un enlace con no-follow. Esto indica al Robot que no indexe nuestra pagina. Una practica recomendada es el index y el follow.

<meta name="robots" content="index,follow">

Si ponemos una página no-index, Google entra, comprueba que es no-index y sale. Le hemos hecho ir a una página para decirle que no la indexe. Ese tiempo de acceso y salida es tiempo que perdemos para que otra página sí se indexe. Por lo que si hacemos una serie de pautas, no solo conseguiremos que nos indexe las páginas importantes, si no que con el mismo tiempo, conseguiremos que nos indexe muchas más páginas.

Aquí os dejo una gráfica muy clarificatoria:
Impresionante ¿verdad?, usando una política correcta en el robots.txt conseguimos no solo indexar esas páginas que sí nos interesaban si no multiplicar por 4 el número total de páginas indexadas.

• Disallow:/wp-admin/
• Disallow:/wp-content/
• Disallow:/author/
• Disallow:/tag/
• Disallow:/wp-admin/
• Disallow:/wp-content/
• Disallow:/author/

• Disallow: /engine/go.php
• Disallow: /engine/download.php
• Disallow: /user/
• Disallow: /statistics.html
• Disallow: /*subaction=userinfo
• Disallow: /*subaction=newposts
• Disallow: /*do=lastcomments
• Disallow: /*do=feedback
• Disallow: /*do=register
• Disallow: /*do=lostpassword
• Disallow: /*do=addnews
• Disallow: /*do=stats
• Disallow: /*do=pm
• Disallow: /*do=search
• Disallow: /print:page,1,
• Disallow: /print:page,1
• Disallow: /print:page,
• Disallow: /print:page
• Disallow: /print
• Disallow: /print:

Con solo estos pequeños cambios verás que en search console o en Google Webmaster empieza a indexar cada vez más páginas y sobre todo le da más prioridad a tus páginas de tu sitio web a la hora de indexar.