[Gelöst] Fehler in allen Cloud-Shops - Problem mit robots.txt

Thema wurde von Anonymous, 22. März 2024 erstellt.

  1. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    11. Juli 2021
    Beiträge:
    424
    Danke erhalten:
    191
    Danke vergeben:
    138
    #1 Anonymous, 22. März 2024
    Zuletzt bearbeitet: 22. März 2024
    Hallo zusammen,

    ich habe soeben zufällig im Google Page Speed festgestellt, dass Google folgende Fehlermeldung ausspuckt:

    robots.txt ist ungültig
    Lighthouse konnte keine robots.txt-Datei herunterladen

    Wenn deine robots.txt-Datei fehlerhaft ist, können Crawler möglicherweise nicht nachvollziehen, wie deine Website gecrawlt oder indexiert werden soll.

    Ich habe keine relevanten Änderungen vorgenommen, welche den Fehler hätten verursachen können. Deswegen habe ich mal andere Cloudshops gecheckt und in jedem Cloudshop wird der gleiche Fehler ausgegeben.

    Ticket wird gleich erstellt.

    Edit:
    Datei neu erstellt, Caches geleert, Problem besteht weiterhin

    Seltsam ist, dass ich die Datei ganz normal abrufen kann.
    (Link nur für registrierte Nutzer sichtbar.) funktioniert.
     
  2. Anonymous

    Anonymous Administrator
    Mitarbeiter

    Registriert seit:
    26. April 2011
    Beiträge:
    1.733
    Danke erhalten:
    1.330
    Danke vergeben:
    305
    @O.C. Ich habe gerade ein paar Cloud Shops mit dem Lighthouse Plugin in Browser geprüft und dort keinerlei Probleme mit der robots.txt gefunden. Bitte prüfe das mit mehreren Tools gegen und schaue bitte auch andere Tools an die die Gültigkeit der robots.txt prüfen können. Bitte führe mehrere Test zu unterschiedlichen Zeiten durch.

    Auch Google ist nicht unfehlbar, es kann sein, dass gecachte Daten ausliefert werden und diese aber im nächsten Moment dann wieder aktualisiert werden und dann beim nächsten Test wieder alles in Ordnung ist.

    Ich habe heute z.B. in deinem Shop auch einen erneuten Test durchgeführt und keine Probleme mit der robots.txt gefunden.
     
  3. Anonymous

    Anonymous Erfahrener Benutzer

    Registriert seit:
    18. August 2021
    Beiträge:
    627
    Danke erhalten:
    68
    Danke vergeben:
    265
    #3 Anonymous, 23. März 2024
    Zuletzt bearbeitet: 24. März 2024
    selfhostet

    Ich hatte gestern auch diesen Fehlerhinweis von Google beim Page Speed Test, obwohl ich nichts an der robots.txt geändert hatte.

    Daraufhin habe ich die robots.txt neu generiert und geladen.

    Dann ging es nach einer Weile wieder und ich dachte, es lag wirklich an dieser Datei.

    Insofern schließe ich jetzt aber daraus, unter Kenntnisnahme obiger Beiträge, dass das ein Google Problem war.

    Zumal es sich hier einmal um einen Cloud Shop und bei mir um einen selfhostet Shop handelt.