# # Sitemap permitido, b�squedas no. # # # Permitimos el feed general para Google Blogsearch. # # Impedimos que permalink/feed/ sea indexado ya que el # feed con los comentarios suele posicionarse en lugar de # la entrada y desorienta a los usuarios. # # Lo mismo con URLs terminadas en /trackback/ que s�lo # sirven como Trackback URI (y son contenido duplicado). # User-agent: googlebot Sitemap: http://www.dualgame.net/sitemap.xml Disallow: /?s= Disallow: /search allow: /feed/* allow: /feed Disallow: /comments/feed Disallow: /*/feed/* Disallow: /*/feed/rss/* Disallow: /*/trackback/* Disallow: /*/*/feed/* Disallow: /*/*/feed/rss/* Disallow: /*/*/trackback/* Disallow: /*/*/*/feed/* Disallow: /*/*/*/feed/rss/* Disallow: /*/*/*/trackback/* # # A partir de aqu� es opcional pero recomendado. # # Lista de bots que suelen respetar el robots.txt pero rara # vez hacen un buen uso del sitio y abusan bastante� # A�adir al gusto del consumidor� User-agent: MSIECrawler Disallow: / User-agent: WebCopier Disallow: / User-agent: Microsoft.URL.Control Disallow: / User-agent: libwww Disallow: / # # Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen # idas de pinza, toca decirles que reduzcan la marcha. # El valor es en segundos y pod�is dejarlo bajo e ir # subiendo hasta el punto �ptimo. # # Primero el contenido adjunto. # Tambi�n podemos desindexar todo lo que empiece # por wp-. Es lo mismo que los Disallow de arriba pero # incluye cosas como wp-rss.php User-agent: * Disallow: /private Disallow: /wp-content/uploads Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-includes Disallow: /wp-admin Disallow: /wp-