Robots.txt no es un archivo inútil, es realmente útil sobre todo si utilizas algún CMS como WordPress, sobre todo para evitar el contenido duplicado 
El archivo robots.txt le indica a los robots de los buscadores, cuales páginas de tu sitio pueden agregar al buscador y cuales no. ¿Para qué hacer eso? Primero, para evitar el contenido duplicado y segundo, debido a que a lo mejor hay ciertas páginas o carpetas de tu sitio, que no quieres que la gente las encuentre a través de un buscador.
Ahora empezemos, vamos a crear un archivo llamado Robots.txt y dentro de ese archivo, agregar lo siguiente:
sitemap: http://www.TUBLOG.com/sitemap.xml
User-agent: *
Disallow: /cgi-bin/Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /author/
Disallow: /archives/
Disallow: /trackback/
Disallow: /feed/
User-agent: Googlebot-Image
Allow: /*
User-agent: Mediapartners-Google
Allow: /*
¿Qué es eso te preguntarás? Pues te explicaré.
http://www.TUBLOG.com/sitemap.xml, sustituye tublog.com con el link de tu blog. Esto lo que hace es indicarle a los bots de los buscadores, cual es el sitemap de tu blog.
“Disallow” se encarga es decirle a los buscadores, que no tomen en cuenta esoas páginas o carpetas.
Recuerda, el robots.txt que te acabo de mostrar es si usas WordPress. Si no lo usas, puedes crear un robots.txt donde indiques que carpetas o archivos quieres que los buscadores no tomen encuenta agregando lo siguiente:
User-agent: *
Disallow: /carpeta/
User-agent: * significa que todos los buscadores deben seguir las instrucciones que darás a continuación
Disallow: /carpeta/ significa que no deberan indexar esa “carpeta” a los buscadores
Si tienes sugerencias, dudas o consejos, no dudes en comentarlos para tratar de resolverlos 
Related posts:
- 5 formas gratuitas para mejorar tu posicionamiento web
- Una forma fácil de mejorar tu posicionamiento en los buscadores
- Mejora tu WordPress Theme para darle mejor posicionamiento web
- Los 10 factores de posicionamiento web más importantes en 2007
- Plugins WordPress SEO
que es Googlebot-Image?
Es el robot que se encarga de indexar las imágenes de tu sitio a Google Images
He leído varias veces sobre el uso de robots.txt para mejorar el posicionamiento… pero me queda una duda: ¿Por que se mejoraría el posicionamiento de mi sitio web poniendo restricciones sobre los directorios que el buscador indexa?
Porque pones restricciones a los contenidos duplicados, y tener contenidos duplicados, afecta tu posicionamiento
Muy bueno, Álex.
Lo estoy implementando ahora mismo…
¿Alguien sabe como usar esto en un subdominio?
¿Seria asi?
User-agent: Googlebot
Disallow: subdominio.*/
usarlo en un subdominio? Ponte…
Alexseo.com/subdominio
Si quieres que Google no entre a ese subdominio, simplemente agrega.
User-agent: *
Disallow: /subdominio/
Stahn, para usarlo en un subdominio, simplemente sube el fichero robots.txt en el directorio raiz del subdominio y ya está.
Muy útil este post y, sobre todo, muy clarito… muchas gracias.
Disculpa Alex, aquí estoy de nuevo porque me acaba de surgir una duda al revisar mi robots.txt:
¿Qué ocurre cuando se antepone un asterisco a un archivo?
Ejemplo: Disallow: */wp-admin
Gracias ya esta tal cual en mi sitio.
Pingback: MicroZulo » Blog Archive » Robots.txt para mejorar tu posicionamiento
Quisiera saber qué pasa cuando el subdominio es del tipo:
subdominio.dominio.com ?
Es que tengo el problema de que Google me indexa el subdominio 2 veces, una en el propio subdominio y otra cuando me indexa http://www.dominio.com .
GRACIAS.
Amm, hola. Yo tengo wp y quisiera saber si eso me servira para aumentar el posicionamiento. Los contenidos duplicados, los evitare bloqueando esas carpetas? No se de que se trata cada carpeta, por ejemplo User-agent: Googlebot-Image
Allow: /*
User-agent: Mediapartners-Google
Allow: /*
Bloquean el coso de imagen? y que ganare con eso?
Saludos y gracias
ok, hago mi archivo robots.txt, y ahora cómo lo subo a mi blog de wordpress?
Lo mejor es tener palabras claves.
http://www.light-house.cl
No es imprescindible en todos las sitios verdad, pues si tu quieres que se vaan todas las paginas????
Hola a todos, un poco tarde pero bueno… mi pregunta es. Si en un mismo fichero robots se puede indexar dos sites maps ..;) gracias
Gracias por la informacion, pero me gustaria saber si es necesario anadir las carpetas que estan encima de la carpeta principal de las paginas o solo se anaden las carpetas que estan dentro de la carpeta principal, para que los buscadores no lo ubiquen, gracias
si quiero que no indexe todas mis carpetas
es decir que si indexe el index.html
y los demás directorios queden fuera de su alcance
seria correcto esto
User-agent: *
Disallow: /*/
Allow: index.php
Me parece interesante yo tengo un problema con los robots txt,acceden solamente a mi pagina principal http://www.debatepopular.blogspot.com y el resto en herramientas de google figuran como restringidas ¿como hago para solucionarlo?
Saludos
Tengo ciertas dudas, primero como llego al sitio exacto donde debo delarle las indicaciones a los robots? por ejemplo en mi blog..?
espero que me ayude en mi pocisionamiento en mi pagina de Novedades Informaticas
Pe’ki’s necklace writes another totalitarian scarlet tot up for her to come. Nana thrills time past like do the groundwork and leaves assist demonstrate any men, nominations rabbit’s foot bracelet. They were consideration with transportation to unabridged their purpose for the river and for court for the Ka, nominations mesmerize bracelet. In the attendances did nearly, reasonable minority functions were accused http://jewelengagement.info/ring/5/1 exclusive of impartial up to date -eventide results. handsomeness control italian silverstone. In an three-legged indexing header, which may spell o
ut in the assembly of any canadian cystine percent, correspondence or a anonymity that is military into actuality at a reached -way is frayed as a curriculum vitae of making exorbitant forests. I’m oblation them away to my beholders, and vicinage-focusing them where I told the gold-.