Fehlgeschlagene Crawl-Anfragen

Thema wurde von Anonymous, 27. August 2023 erstellt.

  1. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    18. August 2021
    Beiträge:
    656
    Danke erhalten:
    92
    Danke vergeben:
    270
    Hallo,

    Schaue ich in der google Search Console unter Einstellungen --> Crawling-Statistiken --> Hoststatus --> Serververbindungen, bekomme ich die Mitteilung: "Die Fehlerquote war in der letzten Woche zu hoch"

    Ich bekomme bei "Fehlgeschlagene Crawl-Anfragen" in Form eines Graphen folgende Ergebnisse angezeigt:

    17.08.2023 --> 4,7%
    20.08.2023 --> 11,8%
    22.08.2023 --> 9%
    23.08.2023 --> 9,6%
    24.08.2023 --> 10,2%

    Ich finde die fehlgeschlagenen Crawl-Anfragen sehr hoch, sind Eure Ergebnisse auch so schlecht? Insbesondere die von All-Inkl interessieren mich?

    Viele Grüße

    Bernd
     
  2. barbara

    barbara G-WARD 2014-2020

    Registriert seit:
    14. August 2011
    Beiträge:
    35.608
    Danke erhalten:
    11.335
    Danke vergeben:
    1.614
    Ich habe keine Probleme in den letzten 90 Tagen - bin auch bei All Inkl
     
  3. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    23. Januar 2020
    Beiträge:
    136
    Danke erhalten:
    55
    Danke vergeben:
    127
    Hallo,
    ich bin auch bei All-inkl. und habe ebenfalls keine Probleme. Die fehlgeschlagenen Crawl Anfragen liegen bei 0% in den letzten 90 Tagen.

    Gruß Uwe
     
  4. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    18. August 2021
    Beiträge:
    656
    Danke erhalten:
    92
    Danke vergeben:
    270
    Hm, ich bin mit meinem Hoster in Diskussion. Sollten sich meine Werte nicht signiffikant verbessern, werde ich wohl wechseln.

    Danke Euch Beiden.
     
  5. PHI

    PHI Erfahrener Benutzer

    Registriert seit:
    23. März 2012
    Beiträge:
    435
    Danke erhalten:
    27
    Danke vergeben:
    139
    All-Ink Businesspaket oder shared hosting mit 100 Leuten ?
     
  6. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    15. Mai 2017
    Beiträge:
    776
    Danke erhalten:
    166
    Danke vergeben:
    199
    Habe das dahingehend bei mir auch geprüft und es sind viele "Crawling-Anfragen: Serverfehler (5xx)"

    Wenn ich da einsteige und mir die Beispiele anschaue, sind das im wesentlichen Bilder.
    Und zwar solche, die wir auf der Produktdetailseite, in den Zusatzfelder, anzeigen.

    Diese Bilder werden in einem von uns erstellten weiteren Unterverzeichnis unter images/products_images/colour_images/ gespeichert
    (Ist das ein Problem?)
    Im html steht images/products_images/colour_images/bild.jpg.
    (Wie bei den anderen Produktbildern auch)

    In der Search Console werden diese Bilder mit Serverfehler 5xx angemeckert.

    Wenn man sich den Link in der Search Console anschaut, stellt man fest das folgender Link untersucht wird:

    (Link nur für registrierte Nutzer sichtbar.)de/images/products_images/colour_images/bild.jpg.

    Also mit dem lang-Kürzel /de/.
    (Das scheint bei den "normalen" Produktbildern dann wohl nicht der Fall zu sein?!?!)

    Wenn man das im Browser aufruft bekommt man
    "Absolute paths are not allowed in RelativeFilePathStringType"
    Wenn man das /de/ rausnimmt wird das Bild angezeigt.

    Wir zeigen an anderen Stellen im Shop auch eigene Bilder aus eigenen Unterverzeichnissen von images/content/.
    Die werden alle nicht angemeckert.

    Einer eine Idee, was das Problem ist, oder wie ich das umgestalten muss, damit es nicht zu diesen 5xx Fehlern in der Search Console kommt?
     
  7. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    14. Juli 2011
    Beiträge:
    995
    Danke erhalten:
    71
    Danke vergeben:
    130
    Frage an Gambio: Müsste der Zugriff auf nicht existierende Bilder nicht einen 404 (not found) anstelle eines 500 (internal server error) liefern?

    (Link nur für registrierte Nutzer sichtbar.)

    ==> Absolute paths are not allowed in RelativeFilePathStringType

    Das gleiche Problem tritt bei uns auch auf:

    "gambio":"v4.8.0.2",
    "phpversion":"8.1.23",
     
  8. Dominik Späte

    Dominik Späte Erfahrener Benutzer

    Registriert seit:
    16. Oktober 2018
    Beiträge:
    1.195
    Danke erhalten:
    1.079
    Danke vergeben:
    372
    Für nicht-existente Bilder wird via RewriteRule in der .htaccess-Datei das Image Processing versucht anzustoßen:

    Code:
        # -----------------------------------------------------------------------------
        # Image Processing on the fly
        # -----------------------------------------------------------------------------
    
        ## if request destination is a product image and size not bigger than 0 try to create the sized image
        RewriteCond %{REQUEST_URI} ".*?\/images\/product_images\/.*\.(?:gif|jpe?g|png)$" [NC]
        RewriteCond %{REQUEST_FILENAME} !-s
        RewriteRule (\.gif|\.jpe?g|\.png)$ %{ENV:BASE}shop.php?do=ImageRequest [L,NC]
    Das Originalbild muss nicht verarbeitet werden. Und wenn es nicht existiert, kann es das auch nicht. Man kann entweder das original_images-Verzeichnis explizit ausschließen:

    Code:
        # -----------------------------------------------------------------------------
        # Image Processing on the fly
        # -----------------------------------------------------------------------------
    
        ## if request destination is a product image and size not bigger than 0 try to create the sized image
        RewriteCond %{REQUEST_URI} ".*?\/images\/product_images\/.*\.(?:gif|jpe?g|png)$" [NC]
        RewriteCond %{REQUEST_URI} !.*images/original_images.* [NC]
        RewriteCond %{REQUEST_FILENAME} !-s
        RewriteRule (\.gif|\.jpe?g|\.png)$ %{ENV:BASE}shop.php?do=ImageRequest [L,NC]
    oder die Weiterleitung nur für ausgewählte Verzeichnisse aktivieren:

    Code:
        # -----------------------------------------------------------------------------
        # Image Processing on the fly
        # -----------------------------------------------------------------------------
    
        ## if request destination is a product image and size not bigger than 0 try to create the sized image
        RewriteCond %{REQUEST_URI} ".*?\/images\/product_images\/(option_images|gallery_images|info_images|popup_images|properties_combis_images|thumbnail_images)\/.*\.(?:gif|jpe?g|png)$" [NC]
        RewriteCond %{REQUEST_FILENAME} !-s
        RewriteRule (\.gif|\.jpe?g|\.png)$ %{ENV:BASE}shop.php?do=ImageRequest [L,NC]
    @DOGS in the CITY : Die letztgenannte Anpassung sollte bei Dir auch den 500er Fehler beseitigen. Problem ist aber, dass überhaupt Bilder aus dem Sprachverzeichnis geladen werden sollen. Dieses Problem gibt's in anderen Shops auch und es ist für mich leider nicht ersichtlich, wie Google an die falschen URLs kommt. Augenscheinlich wirkt auf der Seite alles korrekt.
     
  9. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    15. Mai 2017
    Beiträge:
    776
    Danke erhalten:
    166
    Danke vergeben:
    199
    Hallo Domink,

    danke für den Tip.

    Das führt dann zu einem 404, bin mir nicht sicher, ob das soviel besser ist?!?

    Gemäß Til von Gambio liefert der Shop keine URLS von (Produkt-)Bilder aus den images/ Ordner mit der Sprachkennung aus. Also bleibt ja nur, dass über die robots.txt auszuschließen, was aber selbst von Google, bei bereits (vermeintlich) gefundenen Links ja gerne auch mal ignoriert wird, oder das über die .htaccess in diesem Fall so umzuleiten, dass die URLS korrekt sind (also ohne Sprachkenung) und die Bilder gefunden werden.

    Dass nun gerade diese (Farb-) Bilder von Google indiziert werden, wäre mir eigentlich nicht so wichtig, aber von Google auf eine hohe Fehlerrate des Servers hingewiesen zu werden, scheint mir nicht erstrebenswert.