Robots.txt erweiterungsbedürftig?

Thema wurde von slavek, 8. November 2014 erstellt.

  1. slavek

    slavek Erfahrener Benutzer

    Registriert seit:
    8. November 2011
    Beiträge:
    130
    Danke erhalten:
    8
    Danke vergeben:
    31
    Hallo,

    meine AGB, Impressum und Widerrufsrecht tauchen in Google auf.

    Shop1
    Gambio GX2 v2.0.14.4 r12079 - zweichsprachige ( de / en )
    suchmaschinenfreundliche URLs - aktiviert

    von Google indexiert:
    ....mein_shop1...com/shop_content.php/coID/3889896/content/Widerrufsrecht-1
    ...mein_shop1...com/shop_content.php/coID/3/content/Conditions-of-Use
    ...mein_shop1...com/shop_content.php/coID/4/content/Imprint
    ...mein_shop1...com/shop_content.php/coID/3889895/content/Right-of-Withdrawal---Model-Withdrawal-Form

    Shop2
    Gambio GX2 v2.0.14.4 r12076 - zweichsprachige ( de / en )
    suchmaschinenfreundliche URLs - aktiviert

    von Google indexiert:
    ...mein_shop2...com/shop_content.php/language/en/coID/3889895//
    ...mein_shop2...com/shop_content.php/language/en/coID/4/content/Imprint//

    robots.jpg

    Vielleicht kann mir jemand hier helfen.
    Ich freue mich auf jeden tipp.

    LG Slavek
     
  2. MP Solution

    MP Solution Erfahrener Benutzer

    Registriert seit:
    2. Oktober 2013
    Beiträge:
    2.945
    Danke erhalten:
    456
    Danke vergeben:
    93
    Hast Du diese in der Sitemap aufgenommen im Gambio Shop und generiert mit der Gambio Sitemap1.xml oder hast Du eine Sitemap selber erstellt mit einer externen Engine?
     
  3. Dennis (MotivMonster.de)

    Dennis (MotivMonster.de) G-WARD 2013/14/15/16

    Registriert seit:
    22. September 2011
    Beiträge:
    31.180
    Danke erhalten:
    6.200
    Danke vergeben:
    1.104
    Beruf:
    Mann für alles :)
    Ort:
    Weilburg
    Impressum sollte auch im Index landen, denn google schaut sich das an um Maps einträge usw zu kontrollieren und zu zu ordnen von anderen Diensten.
     
  4. slavek

    slavek Erfahrener Benutzer

    Registriert seit:
    8. November 2011
    Beiträge:
    130
    Danke erhalten:
    8
    Danke vergeben:
    31
    Ich habe Sitemap nicht generiert.

    ....mein_shop_/sitemap1.xml
    sitemap1xml.jpg

    Soll hier das Problem sein?
    Soll ich diese SITEMAP GENERIEREN klicken?
    Was soll ich dann mit URL -/sitemap1.xml machen? Etwas im Webmastertoll melden? Oder?

    Danke fuer Ihre schnelle Antwort!

    LG Slavek
     
  5. MP Solution

    MP Solution Erfahrener Benutzer

    Registriert seit:
    2. Oktober 2013
    Beiträge:
    2.945
    Danke erhalten:
    456
    Danke vergeben:
    93
    Tipp:

    1. Nur die Kategorien und Contente (im Contentmanger) mit einer Prio belegen, die auch im Index nacher angezeigt werden sollen. Alle anderen wie die AGB oder Datenschutz, sollten keine Prio zugewiesen bekommen. Also die einstellung dann dort auf "Nie" und keine Prio und am besten den Haken "in die Sitemap aufnehmen deaktivieren"

    2.Die Sitemap1.xml neu generieren und in den Webmaster Tool neu hochladen. Herbei würde ich empfehlen noch eine sitemap.html zu erstellen und diese hochladen als zweiten Part.

    3. Die Links die in Google zu sehen sind, sollten in dem Webmaster Tool annuliert werden.

    4.robots.txt nochmal neu generieren und auch auf den Server in dem Root-Verzeichnis hochladen.
     
  6. Dennis (MotivMonster.de)

    Dennis (MotivMonster.de) G-WARD 2013/14/15/16

    Registriert seit:
    22. September 2011
    Beiträge:
    31.180
    Danke erhalten:
    6.200
    Danke vergeben:
    1.104
    Beruf:
    Mann für alles :)
    Ort:
    Weilburg
    Ja einmal im Shop Sitempa generieren klicken

    In den Webmaster Tools diese Sitemap einreichen.

    Man kann den verweis auf die sitemap auch manuell in die Robots.txt eintragen.
     
  7. slavek

    slavek Erfahrener Benutzer

    Registriert seit:
    8. November 2011
    Beiträge:
    130
    Danke erhalten:
    8
    Danke vergeben:
    31
    Code:
    Herbei würde ich empfehlen noch eine sitemap.html zu erstellen und diese hochladen als zweiten Part.
    Vielen Dank fuer Deine Anleitung! :)
    ..nur keine Ahnung, wie kann ich eine sitemep.html korekt erstellen diese hochladen als zweiten Part :(

    Aber den Rest mache ich sofort! Danke!

    LG Slavek
     
  8. slavek

    slavek Erfahrener Benutzer

    Registriert seit:
    8. November 2011
    Beiträge:
    130
    Danke erhalten:
    8
    Danke vergeben:
    31
    Danke Dennis!
    ich werde auch sitemap manuell in die Robots.txt eintragen, genauso wie in Deinem Shop :)
    LG Slavek
     
  9. MP Solution

    MP Solution Erfahrener Benutzer

    Registriert seit:
    2. Oktober 2013
    Beiträge:
    2.945
    Danke erhalten:
    456
    Danke vergeben:
    93
    Für die HTML generierungen einer Sitemap gibt es genügend Engines im Net. Einfach nach sitemap generator suchen unter Google. Die meisten nehmen aber nur eine gewisse Anzahl an Seiten auf. Um eine Sitemap im vollen Umfang zu bekommen, entweder eine Engine kaufen oder es machen lassen von einem Unternehmen.
     
  10. slavek

    slavek Erfahrener Benutzer

    Registriert seit:
    8. November 2011
    Beiträge:
    130
    Danke erhalten:
    8
    Danke vergeben:
    31
    Alles klar! Danke!

    LG Slavek
     
  11. slavek

    slavek Erfahrener Benutzer

    Registriert seit:
    8. November 2011
    Beiträge:
    130
    Danke erhalten:
    8
    Danke vergeben:
    31
    Hallo,
    immer wieder das gleiche Problem: meine AGB, Impressum und Widerrufsrecht tauchen in Google auf.

    MEINE FRAGE: Kann ich im robots.txt so etwas einfuegen?:
    Disallow: */coID/2/*
    Disallow: */coID/3/*
    Disallow: */coID/4/*
    Disallow: */coID/9/*
    Disallow: */coID/3889891/*
    Disallow: */coID/3889895/*
    Disallow: */coID/3889896/*

    ich nutze noch suchmaschinenfreudliche URLs, also die noch so ausehen:
    /shop_content.php/coID/4/content/Impressum
    /shop_content.php/language/en/coID/3/content/Conditions-of-Use/
    shop_content.php/language/en/coID/2/content/Privacy-Notice/
    /shop_content.php/language/en/coID/9/content/Withdrawal/

    LG
    Slavek

    Shop Version 2.0.14
     
  12. barbara

    barbara G-WARD 2014-2020

    Registriert seit:
    14. August 2011
    Beiträge:
    35.557
    Danke erhalten:
    11.309
    Danke vergeben:
    1.613
    Das ist eigentlich seit einiger Zeit in der robots.txt drinnen
    Hast Du im Content-Manager die Haken für die Sitemap rausgenommen?

    Bei mir (Shopversion 2.0.15.4 mit SEO-Boost) sieht das in der robots.txt so aus:

    Disallow: /shop_content.php?coID=2
    Disallow: /info/privacy-notice.html
    Disallow: /info/privatsphaere-und-datenschutz.html
    Disallow: /popup_content.php?coID=2

    Und das dann entsprechend für die anderen coID
     
  13. slavek

    slavek Erfahrener Benutzer

    Registriert seit:
    8. November 2011
    Beiträge:
    130
    Danke erhalten:
    8
    Danke vergeben:
    31
    #13 slavek, 5. Februar 2015
    Zuletzt bearbeitet: 6. Februar 2015
    Hallo,
    ich habe SEO-Boost aus, und statt Katalog /info/ habe /content/ ...aber meine Shop generiert fast gleiche robots.txt wie Deine: mit
    Disallow: /info/....... das ist wahrscheinlich nur fuer SEO kompatible, oder? Habe keine Ahnung!
    Bei mir funktioniert es ganz nicht! Jede ein paar Tagen wieder alles(AGB, WRB...) im Google.

    Ich besitze zwei sprachige Shop, also ich probiere mal robots.txt ein bischen aendern:
    z.Beispiel:
    statt:
    Disallow: /shop_content.php?coID=2
    Disallow: /popup_content.php?coID=2

    das:
    Disallow: /shop_content.php*coID=2
    Disallow: /popup_content.php*coID=2


    statt:
    Disallow: /shop_content.php?coID=3889891
    Disallow: /popup_content.php?coID=3889891

    das:
    Disallow: /shop_content.php*coID=3889891
    Disallow: /popup_content.php*coID=3889891

    ...und so weiter

    ...ausserdem werde auch einbauen:
    Disallow: */coID/2/
    Disallow: */coID/3889891/

    ...und so weiter

    Bin ich auf dem richtigem Weg?

    LG
    Slavek