Utiliza un Robots.txt para mejorar tu posicionamiento
Escrito por Alejandro Martínez el 16 Jun, 2007 en Sin categoría
Robots.txt no es un archivo inútil, es realmente útil sobre todo si utilizas algún CMS como Wordpress, sobre todo para evitar el contenido duplicado 
El archivo robots.txt le indica a los robots de los buscadores, cuales páginas de tu sitio pueden agregar al buscador y cuales no. ¿Para qué hacer eso? Primero, para evitar el contenido duplicado y segundo, debido a que a lo mejor hay ciertas páginas o carpetas de tu sitio, que no quieres que la gente las encuentre a través de un buscador.
Ahora empezemos, vamos a crear un archivo llamado Robots.txt y dentro de ese archivo, agregar lo siguiente:
sitemap: http://www.TUBLOG.com/sitemap.xml
User-agent: *
Disallow: /cgi-bin/Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /author/
Disallow: /archives/
Disallow: /trackback/
Disallow: /feed/
User-agent: Googlebot-Image
Allow: /*
User-agent: Mediapartners-Google
Allow: /*
¿Qué es eso te preguntarás? Pues te explicaré.
http://www.TUBLOG.com/sitemap.xml, sustituye tublog.com con el link de tu blog. Esto lo que hace es indicarle a los bots de los buscadores, cual es el sitemap de tu blog.
“Disallow” se encarga es decirle a los buscadores, que no tomen en cuenta esoas páginas o carpetas.
Recuerda, el robots.txt que te acabo de mostrar es si usas Wordpress. Si no lo usas, puedes crear un robots.txt donde indiques que carpetas o archivos quieres que los buscadores no tomen encuenta agregando lo siguiente:
User-agent: *
Disallow: /carpeta/
User-agent: * significa que todos los buscadores deben seguir las instrucciones que darás a continuación
Disallow: /carpeta/ significa que no deberan indexar esa “carpeta” a los buscadores
Si tienes sugerencias, dudas o consejos, no dudes en comentarlos para tratar de resolverlos 
que es Googlebot-Image?
Armando | Jun 16, 2007 | Responder
Es el robot que se encarga de indexar las imágenes de tu sitio a Google Images
Alex Martínez | Jun 16, 2007 | Responder
He leído varias veces sobre el uso de robots.txt para mejorar el posicionamiento… pero me queda una duda: ¿Por que se mejoraría el posicionamiento de mi sitio web poniendo restricciones sobre los directorios que el buscador indexa?
Felipe Cerda | Jun 17, 2007 | Responder
Porque pones restricciones a los contenidos duplicados, y tener contenidos duplicados, afecta tu posicionamiento
Alex Martínez | Jun 17, 2007 | Responder
Muy bueno, Álex.
Lo estoy implementando ahora mismo…
TenienteCastillo | Jun 17, 2007 | Responder
¿Alguien sabe como usar esto en un subdominio?
¿Seria asi?
User-agent: Googlebot
Disallow: subdominio.*/
Stahn | Jun 17, 2007 | Responder
usarlo en un subdominio? Ponte…
Alexseo.com/subdominio
Si quieres que Google no entre a ese subdominio, simplemente agrega.
User-agent: *
Disallow: /subdominio/
Alex Martínez | Jun 17, 2007 | Responder
Stahn, para usarlo en un subdominio, simplemente sube el fichero robots.txt en el directorio raiz del subdominio y ya está.
TenienteCastillo | Jun 17, 2007 | Responder
Muy útil este post y, sobre todo, muy clarito… muchas gracias.
Angeles | Jun 17, 2007 | Responder
Disculpa Alex, aquí estoy de nuevo porque me acaba de surgir una duda al revisar mi robots.txt:
¿Qué ocurre cuando se antepone un asterisco a un archivo?
Ejemplo: Disallow: */wp-admin
Angeles | Jun 17, 2007 | Responder
Gracias ya esta tal cual en mi sitio.
Carlos Arreola | Jun 18, 2007 | Responder
Quisiera saber qué pasa cuando el subdominio es del tipo:
subdominio.dominio.com ?
Es que tengo el problema de que Google me indexa el subdominio 2 veces, una en el propio subdominio y otra cuando me indexa http://www.dominio.com .
GRACIAS.
Adfer | Jul 21, 2007 | Responder
Amm, hola. Yo tengo wp y quisiera saber si eso me servira para aumentar el posicionamiento. Los contenidos duplicados, los evitare bloqueando esas carpetas? No se de que se trata cada carpeta, por ejemplo User-agent: Googlebot-Image
Allow: /*
User-agent: Mediapartners-Google
Allow: /*
Bloquean el coso de imagen? y que ganare con eso?
Saludos y gracias
space | Jul 22, 2007 | Responder
ok, hago mi archivo robots.txt, y ahora cómo lo subo a mi blog de wordpress?
Furikuri | Ago 1, 2007 | Responder
Lo mejor es tener palabras claves.
http://www.light-house.cl
Omar Cale | Ago 16, 2007 | Responder
No es imprescindible en todos las sitios verdad, pues si tu quieres que se vaan todas las paginas????
martin | Ago 28, 2007 | Responder
Hola a todos, un poco tarde pero bueno… mi pregunta es. Si en un mismo fichero robots se puede indexar dos sites maps ..;) gracias
Fran | Nov 22, 2007 | Responder
Gracias por la informacion, pero me gustaria saber si es necesario anadir las carpetas que estan encima de la carpeta principal de las paginas o solo se anaden las carpetas que estan dentro de la carpeta principal, para que los buscadores no lo ubiquen, gracias
Jony | Feb 18, 2008 | Responder
si quiero que no indexe todas mis carpetas
es decir que si indexe el index.html
y los demás directorios queden fuera de su alcance
seria correcto esto
User-agent: *
Disallow: /*/
Allow: index.php
novatoseo | May 31, 2008 | Responder
Me parece interesante yo tengo un problema con los robots txt,acceden solamente a mi pagina principal http://www.debatepopular.blogspot.com y el resto en herramientas de google figuran como restringidas ¿como hago para solucionarlo?
julio | Jul 24, 2008 | Responder
Saludos
Tengo ciertas dudas, primero como llego al sitio exacto donde debo delarle las indicaciones a los robots? por ejemplo en mi blog..?
hector | Jul 25, 2008 | Responder
espero que me ayude en mi pocisionamiento en mi pagina de Novedades Informaticas
InfoMaster | Sep 8, 2008 | Responder
Pe’ki’s necklace writes another totalitarian scarlet tot up for her to come. Nana thrills time past like do the groundwork and leaves assist demonstrate any men, nominations rabbit’s foot bracelet. They were consideration with transportation to unabridged their purpose for the river and for court for the Ka, nominations mesmerize bracelet. In the attendances did nearly, reasonable minority functions were accused http://jewelengagement.info/ring/5/1 exclusive of impartial up to date -eventide results. handsomeness control italian silverstone. In an three-legged indexing header, which may spell o
ut in the assembly of any canadian cystine percent, correspondence or a anonymity that is military into actuality at a reached -way is frayed as a curriculum vitae of making exorbitant forests. I’m oblation them away to my beholders, and vicinage-focusing them where I told the gold-.
caleTodselash | Sep 11, 2008 | Responder