Indexiert, obwohl durch robots.txt-Datei blockiert

Thema wurde von Anonymous, 13. Januar 2019 erstellt.

  1. Anonymous
    Anonymous Erfahrener Benutzer
    Registriert seit:
    2. Dezember 2012
    Beiträge:
    598
    Danke erhalten:
    70
    Danke vergeben:
    243
    Ich erhalte in der GSC die oben genannte Fehlermeldung.
    Wie kann ich das Problem beheben?
     

    Anhänge:

  2. Anonymous
    Anonymous Erfahrener Benutzer
    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.831
    Danke erhalten:
    1.125
    Danke vergeben:
    947
    Du musst für diese URLs den Canonical Tag entfernen, weil das keine canonical URLs sind. Jeder Content deiner Seite ist unter mehreren URLs aufrufbar. Eine Canonical URL verweist auf die jeweilige Hauptseite, die die Suchmaschinen-Bots zum Abrufen dieses Inhalts verwenden sollen. Bei dir ist es so, dass JEDE URL als canonical ausgezeichnet wird. Nur weil eine Datei von der robots.txt gesperrt ist, kann sie von den Bots trotzdem noch indexiert werden - nur dann ohne Inhalt. Das ist die Ursache für den "Fehler", den manche als Kosmetik betrachten und nicht als ein echtes Problem. Da gehen die Meinungen auseinander.

    Zum Weiterlesen:
    (Link nur für registrierte Nutzer sichtbar.)
     
  3. Anonymous
    Anonymous Erfahrener Benutzer
    Registriert seit:
    2. Dezember 2012
    Beiträge:
    598
    Danke erhalten:
    70
    Danke vergeben:
    243
    Wo muss ich diese Änderungen vornehmen?
     
  4. Anonymous
    Anonymous Erfahrener Benutzer
    Registriert seit:
    19. Juni 2012
    Beiträge:
    4.831
    Danke erhalten:
    1.125
    Danke vergeben:
    947
    Wenn du dich mit PHP auskennst:

    (Link nur für registrierte Nutzer sichtbar.)

    Aber Gambio warnt davor, das so zu machen. Bei uns läuft das seit über einem Jahr erfolgreich und ohne Folgeprobleme, soweit ich das erkenne. Vor allem verhindert das auch einen SEO Hack, mit dem jeder ohne viel Aufwand eine beliebige Zahl an Double Content Seiten im Google Index platzieren kann. Erfolgreich getestet.