Evitar URLS duplicadas en Foro SMF [Robots.TXT]

Hace tiempo hice unos cambios en el foro ya que viendo las webmasters tools de google, me aparecían muchas urls duplicadas… si demaciadas, la verdad que apenas habían en el foro 1500 mensajes y no se cuantos temas y tenia mas de 4500 urls duplicadas.

Ahora después de un mes o tal vez un poco mas tengo apenas 32 urls duplicadas, así que el cambio fue bueno…

Claro hay que decirlo, bajaron los links indexados de unos 5 mil a 2 mil apenas, pero lo curioso es que las visitas han subido, en todas las áreas así que son puntos a favor, y en solo 3 meses subimos de pagerank 0 a 2…

Ahora bien la solución fue un robots.txt hecho de acuerdo a lo que google decia que estaba duplicado… y mas que nada eran las urls que tenian /msj/ o prev, y esas cosas, cada tema tenia de 3 a 5 enlaces, casi el mismo enlace pero la terminación cambiaba un poco con eso que les digo de MSG, PREV, SORT y poca cosa mas..

Aquí les dejo el robots.txt que uso ahora, se puede mejorar pero bueno, por ahora esta bien. Y claro hay que decir que uso pretty urls si no habría que cambiar un poco el fichero de texto 😉

# /robots.txt file for http://foro.skamasle.com/
User-agent: *
Disallow: /*/?sort=*
Disallow: /*/;wap2=
Disallow: /empty-*.0.html;topicseen
Disallow: /*/*/msg*
Disallow: /*/msg*
Disallow: /*/msg
Disallow: /*/*msg
Disallow: /*/?prev_next*
Disallow: /profile/*
Disallow: /register
Disallow: /search
Disallow: /login
Disallow: /collapse
Disallow: /*/msg*/*
Disallow: /*/*/msg*/*
Disallow: /*/?sort=last_post
Disallow: /*/*/?sort=last_post
Disallow: /*/?sort=replies
Disallow: /*/*/?prev_next=*

Y eso era todo.. no mas urls duplicadas o bueno unas cuentas pero de 4500 o mas a solo 32 es un cambio notable..

Aquí dejo el enlace del robots.txt del foro

Intentare mejorarlo me falto incluir /help y otras cosillas pero bueno falta de tiempo y no le puse atención en el momento de hacerlo pero por ahora va bien así ya luego mas cambios !

Nos vemos espero les sirva

2 opiniones en “Evitar URLS duplicadas en Foro SMF [Robots.TXT]”

  1. ahh ahora veo porque me preguntabas sobre ese robot 😛

    me alegro que haya salido bien la jugada 😀

  2. Agradando a google.. aunque le falta mejoras pero bueno en otra sera.. cuando pasemos a la versión 2.0.. aunque ya hace una semana puse la versión 2.0 todo fue un exito.. pero suerte que hice respaldo.. el theme ya no me valia.. han organizado el css de otra forma y creo que tendré que pasarme varios dias para hacer un css igual al que tenemos ahora 🙁

    Y claro el robots txt tendrá que cambiar seguramente a ver si con la V2 de SMF subimos un poco mas el pagerank y bajamos el contenido duplicado que dicen que tiene muchas mejoras SEO.

Comentarios cerrados.