Nach Umstellung auf GX2 viele Crawling Fehler in Webmastertools

Thema wurde von ficius, 29. Juli 2012 erstellt.

  1. ficius

    ficius Erfahrener Benutzer

    Registriert seit:
    23. August 2011
    Beiträge:
    118
    Danke erhalten:
    0
    Danke vergeben:
    15
    Hallo,

    Ende Juni wurde mein GX Shop von den Gambo Leuten in GX2 verschoben. Schlagartig bin ich bei google gefallen in der Sichtbarkeit und im ranking. Auch Besucher habe ich 50% weniger.

    Dann ist mir heute in den Webmastertool aufgefallen, das ich 2800 blockierte URLs habe. Sitemap und robots sind die vom shop generierten.

    Für meine Haupkategorieseite wird mir von Webmaster tools z.B. dieser Fehler

    Blockiert für Zeile 3: Disallow: /*XTCsid*

    angezeigt.

    Ich habe seoboost aktiviert und Spider Sessions vermeiden steht auf ja.

    Ich mach hierzu auch gleich noch ein Ticket auf, aber bei der derzeitigen überlastung des Supports hoffe ich das ich hier evtl. schon einmal einen Tip bekomme.
     
  2. Dennis (MotivMonster.de)

    Dennis (MotivMonster.de) G-WARD 2013/14/15/16

    Registriert seit:
    22. September 2011
    Beiträge:
    31.203
    Danke erhalten:
    6.208
    Danke vergeben:
    1.107
    Beruf:
    Mann für alles :)
    Ort:
    Weilburg
    Wurden den die URLs für die Artikel 1zu1 übernommen bei der umstellung?
     
  3. ficius

    ficius Erfahrener Benutzer

    Registriert seit:
    23. August 2011
    Beiträge:
    118
    Danke erhalten:
    0
    Danke vergeben:
    15
    Ich gehe mal davon aus. Die Umstellung hat ja letztendlich der Support gemacht. Aber selbst wenn nicht, was natürlich mist wäre, dürfte dehalb ja nicht meine Urls für den google bot gesperrt werden.

    Finde auch das meine URLs seltsam aussehen. Die URL für eine Kategorieseite sieht so aus:

    http://www.sexybuxen.de/http://www....e-12/?XTCsid=814db8e1802cee54ef89c784add15b16

    Warum steht das dort in der URL: /?XTCsid=814db8e1802cee54ef89c784add15b16

    Und genau diese Seiten werden nicht gecrawlt.
     
  4. Dennis (MotivMonster.de)

    Dennis (MotivMonster.de) G-WARD 2013/14/15/16

    Registriert seit:
    22. September 2011
    Beiträge:
    31.203
    Danke erhalten:
    6.208
    Danke vergeben:
    1.107
    Beruf:
    Mann für alles :)
    Ort:
    Weilburg
    Das ist die Session ID und da die normal einmalig ist is es auch besser wenn die nicht im Index so landet.
    Hauptsache so
    (Link nur für registrierte Nutzer sichtbar.)
    landet es im index.

    Lösch einfach mal alle Fehlermeldungen und schau was in paar Tagen da an neuen Fehlern steht. Evtl. kommt es auch durch die Umstellzeit zu so vielen.
     
  5. ficius

    ficius Erfahrener Benutzer

    Registriert seit:
    23. August 2011
    Beiträge:
    118
    Danke erhalten:
    0
    Danke vergeben:
    15
    Wie lösche ich den in den Webmastertools alle Fehlermeldungen? Vor allen Dingen die der blockierten URLs
     
  6. Dennis (MotivMonster.de)

    Dennis (MotivMonster.de) G-WARD 2013/14/15/16

    Registriert seit:
    22. September 2011
    Beiträge:
    31.203
    Danke erhalten:
    6.208
    Danke vergeben:
    1.107
    Beruf:
    Mann für alles :)
    Ort:
    Weilburg
    Crawling Fehler - Alle als korigiert mackieren.
    Dann fängt er von vorne an mit Fehlermeldungen.
     
  7. Dennis (MotivMonster.de)

    Dennis (MotivMonster.de) G-WARD 2013/14/15/16

    Registriert seit:
    22. September 2011
    Beiträge:
    31.203
    Danke erhalten:
    6.208
    Danke vergeben:
    1.107
    Beruf:
    Mann für alles :)
    Ort:
    Weilburg
    Unter blockierte URLs sollte aus deiner robots TXT folgendes stehen
    Code:
    User-agent: *
    Disallow: /*XTCsid*
    Disallow: /*currency=*
    Disallow: /*filter_fv_id*
    Disallow: /*filter_id*
    Disallow: /*filter_price_max*
    Disallow: /*filter_price_min*
    Disallow: /*listing_count*
    Disallow: /*listing_sort*
    Disallow: /*gm_boosted_category*
    Disallow: /*sort=*
    Disallow: /*view_mode*
    Disallow: /admin/
    Disallow: /cache/
    Disallow: /currency/
    Disallow: /download/
    Disallow: /export/
    Disallow: /includes/
    Disallow: /media/content/
    Disallow: /pub/
    Disallow: /sort/
    Disallow: /templates_c/
    Disallow: /address_book_process.php 
    Disallow: /account.php
    Disallow: /address_book.php
    Disallow: /account_edit.php 
    Disallow: /account_edit_process.php 
    Disallow: /account_history.php 
    Disallow: /account_history_info.php 
    Disallow: /advanced_search.php
    Disallow: /advanced_search_result.php
    Disallow: /checkout_address.php
    Disallow: /checkout_confirmation.php
    Disallow: /checkout_iclear.php
    Disallow: /checkout_payment.php
    Disallow: /checkout_payment_address.php
    Disallow: /checkout_process.php 
    Disallow: /checkout_shipping.php
    Disallow: /checkout_shipping_address.php
    Disallow: /checkout_success.php
    Disallow: /checkout_vrepay_elv.php
    Disallow: /checkout_vrepay_giropay.php
    Disallow: /checkout_vrepay_kreditkarte.php
    Disallow: /clickandbuy_check.php
    Disallow: /clickandbuy_ems_push_endpoint.php
    Disallow: /cookie_usage.php
    Disallow: /cout_qpay_iframe.php
    Disallow: /create_account.php
    Disallow: /create_account_process.php
    Disallow: /create_account_success.php
    Disallow: /create_guest_account.php
    Disallow: /display_vvcodes.php
    Disallow: /download.php
    Disallow: /fax.html
    Disallow: /gm_account_delete.php
    Disallow: /gm_ajax.php
    Disallow: /gm_corner.gif.php
    Disallow: /gm_counter.php
    Disallow: /gm_counter_set_screen.php
    Disallow: /gm_create_vvcodes.php
    Disallow: /gm_css_monitor.php
    Disallow: /gm_gprint.js.php
    Disallow: /gm_gprint_ajax.php
    Disallow: /gm_gprint_download.php
    Disallow: /gm_gprint_order_ajax.php
    Disallow: /gm_javascript.js.php
    Disallow: /gm_opensearch.php
    Disallow: /gm_price_offer.php
    Disallow: /gm_privacy.php
    Disallow: /gm_product_export_cron.php
    Disallow: /gv_redeem.php
    Disallow: /gv_send.php
    Disallow: /heidelpay-curl.class.php
    Disallow: /heidelpay-frontend.css.php
    Disallow: /heidelpay-frontend.js.php
    Disallow: /heidelpay-listener.php
    Disallow: /heidelpay-sender.php
    Disallow: /hp_example_banner.html
    Disallow: /iclear.php
    Disallow: /login.php
    Disallow: /login_admin.php
    Disallow: /logoff.php
    Disallow: /moneybookers_iframe.php
    Disallow: /newsletter.php
    Disallow: /notify_vrepay_elv.php
    Disallow: /notify_vrepay_giropay.php
    Disallow: /notify_vrepay_kreditkarte.php
    Disallow: /password_double_opt.php
    Disallow: /paypal_checkout.php
    Disallow: /popup_coupon_help.php
    Disallow: /popup_cvv.php
    Disallow: /popup_image.php 
    Disallow: /popup_search_help.php
    Disallow: /print_order.php
    Disallow: /print_product_info.php
    Disallow: /product_reviews.php 
    Disallow: /product_reviews_info.php
    Disallow: /product_reviews_write.php
    Disallow: /redirect.php
    Disallow: /release_info.php
    Disallow: /request_port.php
    Disallow: /reviews.php
    Disallow: /send_order.php
    Disallow: /shopping_cart.php
    Disallow: /show_product_thumbs.php
    Disallow: /ssl_check.php
    Disallow: /vrepay_kreditkarte.php
    Disallow: /wish_list.php
    Disallow: /wpcallback.php
    Disallow: /wsdl_iclear_order.php
    Disallow: /xtbcallback.php
    
     
  8. ficius

    ficius Erfahrener Benutzer

    Registriert seit:
    23. August 2011
    Beiträge:
    118
    Danke erhalten:
    0
    Danke vergeben:
    15
    OK, habe ich gemacht

    Ja meine Robots sieht genauso aus.

    Ich danke Dir auf jeden Fall erst einmal. Bin ein bisschen beruhigter.
    Wobei mir der Absturz im allgemeinen und die 2800 blockierten URLs schon komisch vorkommen.
     
  9. Dennis (MotivMonster.de)

    Dennis (MotivMonster.de) G-WARD 2013/14/15/16

    Registriert seit:
    22. September 2011
    Beiträge:
    31.203
    Danke erhalten:
    6.208
    Danke vergeben:
    1.107
    Beruf:
    Mann für alles :)
    Ort:
    Weilburg
    is normal. hat sich ja einiges an code geändert daher fällst oft erst mal. wenn die LINKs und URLs gleich geblieben sind sollte sich das in 1-2 wochen wieder etwas normalisieren.
     
  10. Avenger

    Avenger G-WARD 2012/13/14/15

    Registriert seit:
    26. April 2011
    Beiträge:
    4.771
    Danke erhalten:
    1.478
    Danke vergeben:
    89
    Diese URL

    Ist definitiv total falsch, und kann so nicht gefunden werden.
     
  11. ficius

    ficius Erfahrener Benutzer

    Registriert seit:
    23. August 2011
    Beiträge:
    118
    Danke erhalten:
    0
    Danke vergeben:
    15
    Stimme ich Dir zu, aber zum Glück gibt es die ja so auch nicht. Da ist wohl ein kleiner Fehler beim einfügen hier passiert.
     
  12. Senior

    Senior Erfahrener Benutzer

    Registriert seit:
    17. April 2013
    Beiträge:
    816
    Danke erhalten:
    178
    Danke vergeben:
    241
    #12 Senior, 22. Mai 2013
    Zuletzt bearbeitet: 22. Mai 2013
    Auch ich habe viele Crawling-Fehler (404), die mir in Google Webmaster-Tools angezeigt werden.
    Hierbei handelt es sich überwiegend um früher vorhandenen URLs, die jedoch schon lange nicht mehr in der sitemap.xml gelistet werden.
    Wenn ich in den Webmaster-Tools für einen einzelnen Fehler "Verlinkt über" abrufe, erscheinen jeweils einige vorhandene URLs in denen ich den fehlerhaften Link jedoch nicht finden kann.
    Caches wurden natürlich regelmässig geleert.

    Die Tendenz ist seit 23. April steigend. Zu dieser Zeit habe ich von 2.0.10g auf 2.0.12.2 upgedatet und von einem Custom Template auf Eye-Candy zurückgestellt.

    Insgesamt scheint mir mit unseren URLs einiges durcheinander zu sein:
    Beispielsweise führen einige (nicht mehr aktuelle URLs) wie http://www.senioren-geschenke.com/Mobilitaet/Schirme/ zu unserer Startseite.
    Das könnte man ja auch als Feature verstehen,
    Andererseits erhalte ich teilweise unmotiviert im Broser Anzeigen (ohne weiteren Inhalt) wie z.B. unter http://www.senioren-geschenke.com/Gesundheit-Pflege/Messgeraete-fuer-Koerperzustaende--funktionen/Blutzuckermessgeraete/Blutdruck-Lanzetten-ONE-TOUCH-ULTRASOFT.html

    shopping_cart" style="display: none;"> Sie haben noch keine Artikel in Ihrem Warenkorb.

    Mache ich z.B. aus
    http://www.senioren-geschenke.com/Hoeren-Hoerhilfen/
    http://www.senioren-geschenke.com/Hören-Hoerhilfen/
    funktioniert das auch nicht.

    EDT: Ich stelle gerade browserabhängige Effekte fest:
    FF 20.0.1 führt jeweils zur Startseite - IE10 bringt weisse Seiten mit kryptischen Fehlermeldungen.

    Über sachdienliche Hinweise, die mich auf den Pfad der Tugend bringen, bin ich sehr dankbar.


    Macht es übrigens Sinn in den URLs Umlaute als ue oe ae darzustellen oder würdet Ihr das nicht machen?
     
  13. Senior

    Senior Erfahrener Benutzer

    Registriert seit:
    17. April 2013
    Beiträge:
    816
    Danke erhalten:
    178
    Danke vergeben:
    241
    #13 Senior, 23. Mai 2013
    Zuletzt bearbeitet: 27. Mai 2013
    Die Webmastertools meckern auch über viele doppelten Metabeschreibungen und doppelte "title" Tags.
    Typisch sind dabei z.B. folgende Kombinationen:
    /Hoeren-Hoerhilfen/
    /Hoeren-Hoerhilfen/?Hoeren-Hoerhilfen=&cat=c29&cPath=29&page=1
    Die Kategorie gibt es nur 1x aber wird im Shop unter verschiedenen URLs gefunden.

    Oder hat der google-bot einfach noch nicht die alte sitemap.xml vergessen?
    Komisch nur: Beide URLs führen tatsächlich zum gleichen Ziel.

    Mag jemand so nett sein, mir die Augen zu öffnen?

    EDIT: Gerade im Changelog von 2.0.13. gefunden:
    "[Adminbereich][Frontend] Robots.txt erlaubt indexieren von Duplicate Content von jeder Artikelseite, wenn SEO Boost verwendet wird (GXMAIN-1996)"
    Gibt es da evtl. einen Zusammenhang?
     
  14. Senior

    Senior Erfahrener Benutzer

    Registriert seit:
    17. April 2013
    Beiträge:
    816
    Danke erhalten:
    178
    Danke vergeben:
    241
    Mag keiner von den Spezialisten mal nen kleinen Tip geben?
     
  15. C h r i s t i a n

    C h r i s t i a n G-WARD 2012

    Registriert seit:
    26. April 2011
    Beiträge:
    3.456
    Danke erhalten:
    330
    Danke vergeben:
    551
    Könnte sein, das der zweite Pfad in deinen Beispiel ohne Seo-boost indexiert wurde. Aber ist ganz egal, wenn am Ende auf deine Suchmaschinen freundliche URL weitergeleitet wird ist alles in bester Ordnung. Auch kann es sein das google verschiedene Sessions speichert, aber auch das ist unbedenklich.

    Achso, doppelte metabeschreibungen und Co.: auch das ist egal (meine Meinung) mein motto: laß die ganze Seo optimiererei in Bereichen wo man viel zeit investiert und kaum Boden gut macht, investiert die zeit in soliden (eigenen) Content der auch lesenswert ist. Ab und an einen deeplink und der Rest kommt von ganz alleine...
     
  16. Dennis (MotivMonster.de)

    Dennis (MotivMonster.de) G-WARD 2013/14/15/16

    Registriert seit:
    22. September 2011
    Beiträge:
    31.203
    Danke erhalten:
    6.208
    Danke vergeben:
    1.107
    Beruf:
    Mann für alles :)
    Ort:
    Weilburg
    und vor allem das meiste ist nur Hinweise und wirkt sich meist nicht negativ aus. und 70% von dem was du über SEO IM Netz lesen kannst. spar die die zeit es zu lesen. Meiste ist nur halbwissen und nachgeplapper ohne eigene Erfahrungen. Und nur weil es viele schreiben wird es nicht wahr :)

    Lediglich bei Titel und descrition sollte man sich kurz gedanken machen, den Rest für den Besucher optimieren, dann freut sich google mit der Zeit von ganz alleine über deine Seite :)
     
  17. Senior

    Senior Erfahrener Benutzer

    Registriert seit:
    17. April 2013
    Beiträge:
    816
    Danke erhalten:
    178
    Danke vergeben:
    241
    Leider wird da nix weitergeleitet.
    Bei beiden Versionen bleibt die jeweils aufgerufene URL in der Adressleiste stehen. Mit gleichem Ziel meinte ich die gleiche Ansicht.
    Aber OK - Danke für die Hinweise Christian und Dennis.
    Ich werd mich man dann mal weniger um solche "Nebensächlichkeiten" kümmern, sondern mich noch mehr an die Inhalte ranmachen...