robots.txt - nach Disallow keine wildchars?

Thema wurde von jox, 28. Januar 2013 erstellt.

  1. jox

    jox G-WARD 2012

    Registriert seit:
    26. April 2011
    Beiträge:
    1.676
    Danke erhalten:
    119
    Danke vergeben:
    159
    Habe soeben gelesen, dass in der robots.txt nach dem Disallow keine Wildchars wie '*' etc. erlaubt sind.
    Wenn das so wäre, ist dann die Basis-robots.txt nicht von grundauf falsch?
     
  2. Dennis (MotivMonster.de)

    Dennis (MotivMonster.de) G-WARD 2013/14/15/16

    Registriert seit:
    22. September 2011
    Beiträge:
    31.167
    Danke erhalten:
    6.199
    Danke vergeben:
    1.103
    Beruf:
    Mann für alles :)
    Ort:
    Weilburg
    (Link nur für registrierte Nutzer sichtbar.)

    hier is es gut erklärt und leicht verständlich.
     
  3. jox

    jox G-WARD 2012

    Registriert seit:
    26. April 2011
    Beiträge:
    1.676
    Danke erhalten:
    119
    Danke vergeben:
    159
    Hallo Dennis,
    ist es dann wie folgt richtig?
    Code:
    # robots.txt für XXXXXXX.de
    # Diese Webcrawler schließe ich aus
    User-agent: dotbot
    Disallow: / 
    
    User-agent: pixray
    Disallow: /
    
    User-agent: yandex
    Disallow: / 
    
    User-agent: baiduspider
    Disallow: / 
    
    # Wegweiser für Suchmaschinen
    Sitemap: http://www.XXXXXXXX.de/sitemap1.xml 
    
    User-agent: *
    Disallow: /*XTCsid*
    Disallow: /*currency=*
    Disallow: /*filter_fv_id*
    Disallow: /*filter_id*
    Disallow: /*filter_price_max*
    Disallow: /*filter_price_min*
    Disallow: /*listing_count*
    Disallow: /*listing_sort*
    Ich frage hauptsächlich wegen dem sitemap-Text.