Habe soeben gelesen, dass in der robots.txt nach dem Disallow keine Wildchars wie '*' etc. erlaubt sind. Wenn das so wäre, ist dann die Basis-robots.txt nicht von grundauf falsch?
Hallo Dennis, ist es dann wie folgt richtig? Code: # robots.txt für XXXXXXX.de # Diese Webcrawler schließe ich aus User-agent: dotbot Disallow: / User-agent: pixray Disallow: / User-agent: yandex Disallow: / User-agent: baiduspider Disallow: / # Wegweiser für Suchmaschinen Sitemap: http://www.XXXXXXXX.de/sitemap1.xml User-agent: * Disallow: /*XTCsid* Disallow: /*currency=* Disallow: /*filter_fv_id* Disallow: /*filter_id* Disallow: /*filter_price_max* Disallow: /*filter_price_min* Disallow: /*listing_count* Disallow: /*listing_sort* Ich frage hauptsächlich wegen dem sitemap-Text.