Recientemente muchos blogs han comentado sobre la importancia de la optimización del archivo robots.txt, ese pequeño archivo en el index del sitio que dice qué indexar y qué no a los robots de buscadores.

Muchas veces la estructura interna de links de un blog no está correctamente optimizada en lo que se refiere a contenido, generando muchas veces contenido duplicado, algo que Google está combatiendo ferozmente, reduciendo el número de visitas del googlebot y penalizando las posiciones en las páginas de búsqueda si observa contenidos duplicados.

ShoeMoney comenta que por medio de una optimización correcta del archivo robots.txt ha logrado un incremento de tráfico del 1400%, un incremento impresionante por sólo optimizar correctamente un archivo de texto.

Básicamente la optimización se basa en filtrar todos aquellos contenidos duplicados del blog, como las categorías, los feeds, los archivos por fecha, etc, que si bien tienden en un principio a incrementar el número de páginas indexadas, luego de un análisis minusioso por parte de Google esto se vuelve en contra, afectando por ende a todas las páginas indexadas, tanto las de contenido de calidad como las que generan “ruido”.

AskApache no da algunos ejemplos de optimización de archivos robots.txt para las plataformas más comunes que podés utilizar como base para poder experimentar cambios.

Sin embargo, unas palabras de advertencia: Una incorrecta instrucción en el archivo robots.txt puede dejar a todos los buscadores afuera, por lo tanto actúa con precaución.

Be Sociable, Share!

• 
•