robots.txt

Hallo,

meine Anzeigen bei Google Adwords wurden abgelehnt, da mein Webseite wohl die Crawler von Google Adwords blockiert
Als Tipp haben die mir mitgeteilt, dass dies wohl oftmals an einer entsprechenden Einstellung der "robots.txt" Datei liegt.

Jetzt bin ich mal im Content-Manager meine Seiten durchgegangen und bin wieder mal völlig verwirrt.
Muss ich jetzt den Haken blau setzen, damit die robot.txt aktiviert ist (und damit gecrawlt werden kann?) oder nicht und es bleibt das schwarze X ??

Im Handbuch verwirren mich zwei unterschiedliche Angaben, und zwar steht unter Pkt. Statische Seiten:
Eintrag in robots.txt (disallow) - ist der Haken gesetzt, wird die Seite in die Robots-Datei aufgenommen
und unter dem Pkt. Content-Manager steht:
Eintrag in robots.txt (disallow) - soll die Seite in der Robots-Datei für Suchmaschinen gesperrt werden?
-> Würde für mich aussagen, dass, wenn der Haken gesetzt ist, die Seite gesperrt wird .... ??

 

Die robots.txt ist dafür, Seiten zu blockieren, die sitemap ist dafür auf Seiten zu verweisen.

z.B. sollten die ganzen Rechtstexte in der robots.txt stehen, damit Abmahner die nicht bei google und co finden.
Hier sollte also robots aktiv und sitemap inaktiv sein.

anders ist es bei Seiten, die Du in den SuMas sehen willst, wie Artikel und Kategorien, da sollte die robots inaktiv und die Sitemap aktiv sein.

 

Ach soooooo, habe ich mal wieder völlig falsch verstanden ...

Wenn ich bei den Seiten, die ich in den Suchmaschinen haben will, die robots inaktiv setzen will, heißt dass, das der blaue Haken gesetzt ist, oder das schwarze Kreuz ? Sorry, falls die Frage selten blöd ist, aber ich kenne mich leider gar nicht aus ...

 

Blau ist immer etwas aktiv gesetztes, schwarz ist etwas inaktives.

Bezüglich Robots:
Der Schalter setzt eine Sperre. Wenn du die Sperre aktiviert hast (blau), dann darf der Crawler den Inhalt nicht indizieren.

Sitemap:
Hier gehts um aktive Listung einer Seite in der Sitemap. Bei der Sitemap bedeutet ein aktivierter Schalter (blau) also die Aufnahme einer Seite in die Sitemap.

 

Ah ok, vielen Dank!!
Jetzt habe ich es verstanden

 

Ok, verstanden habe ich es, aber es funktioniert immer noch nicht.
Ich kann immer noch keine Google-Anzeigen schalten, da von Google ein Crawlen der Seite nicht möglich ist.

Ich habe im Content-Manager bei allen Seiten bei der robots.txt den Haken raus (also ein Kreuz), nur beim Widerruf, AGB, Datenschutz ist der Haken gesetzt.
Wenn ich unter SEO die robots.txt generiere, steht aber bei allen Sachen Disallow, aber dann kann Google doch auch nichts finden, oder?
Ich habe die robots.txt mal angehängt.

Kann mir bitte helfen? Ich möchte unbedingt vor den Sommerferien nochmal Anzeigen schalten!!
Aber bitte eine Anfängererklärung

 

Das was in der robots steht, willst Du bei Google nicht haben.
Du willst keine checkout-Seite, oder Adressbuch-Seiten oder so etwas,. sondern Artikel, Kategorien und Content-Seiten.

Deine robots.txt sieht für mich ganz normal aus.

Was genau schreibt Google denn, was nicht gecrawlt werden kann?

 

Google hat die Adwords-Anzeigen abgelehnt mit dem Hinweis: nicht funktionierendes Ziel.
Das Ziel funktioniert aber. Das habe ich Google geschrieben und als Antwort erhalten:

"Tatsächlich kann ich Ihre Webseite aufrufen, allerdings scheint der Google Bot, das automatisierte Prüfsystem von Google, ausgesperrt zu sein. Bitte kontaktieren Sie Ihren Webmaster und bitten Sie um eine Prüfung.
Ein Tipp: Manchmal liegt das Problem in einer Sperrung in der sogenannten robots.txt-Datei."

Ich habe mal die Search Console von Google genutzt und bei dem Punkt "Crawling Fehler" steht, dass die DNS und Serververbindunf in Ordnung sind, aber "Abruf von Robots.txt" erscheint "Error" und da steht "Fehler beim robots.txt-Abruf insgesamt".

Beim Punkt robots.txt-Tester erscheint ein Feld: "Fehler beim Abrufen der robots.txt-Datei
Wir können Ihre robots.txt-Datei momentan nicht abrufen. In solchen Fällen unterbrechen wir das Crawlen Ihrer Website, bis wir Zugang auf eine robots.txt-Datei erlangen, oder greifen auf die letzte verwendbare robots.txt-Datei zurück."

 

Wenn ich übrigens die URL eingebe, um sie von Googlebot testen zu lassen, steht da, dass der Zugriff zugelassen wird.

 

deine robots.txt liegt bei dir in diesem ordner https://www.xxxxxxxxxxxxx.com/shop/robots.txt und nicht im wurzel-verzeichniss direkt unter https://www.xxxxxxxxxxxxx.com/robots.txt

weiterhin fehlt m.M der Eintrag in deiner robotx.txt zu deiner sitemap


Sitemap: https://www.xxxxxxxx.xx/public/sitemap_index.xml

 

Da ich nicht wusste, wo die hingehört, hatte ich die in beide Verzeichnisse hochgeladen...
Aus dem Ordner https://www.xxxxxxxxxxxxx.com/shop/ habe ich die jetzt wieder gelöscht.

Hmm, das verstehe ich leider nicht (bin Anfänger). Kannst du mir sagen, wie ich da was wo hinbekomme?

 

geh in den admin Bereich deines shop dann unter Shop Einstellungen findest du SEO diesen Bereich öffnen, oben dann unter Robots Datei die robots.txt neu generieren und speichern.

die sollte dann direkt in dein Wurzelverzechniss gespeichert werden und der Verweislink zur sitemap auch drinne sein

 

Das mit dem Hochladen hatte ich ja gemacht.

Ich habe das mit der Sitemap nicht verstanden:
(weiterhin fehlt m.M der Eintrag in deiner robotx.txt zu deiner sitemap
Sitemap: https://www.xxxxxxxx.xx/public/sitemap_index.xml)

 

du brauchst da nix hochladen......einfach eine neue robots.txt generieren und speichern, dabei sollte der Eintrag mit dem Verweis auf die sitemap auch mit neu generiert werden und ist dann in der robots.txt ganz unten zu finden

 

Ich musste wohl nach dem letzten Update die Sitemap neu generieren. Habe ich jetzt gemacht (hochladen muss ich die aber nicht, oder?), robots.txt auch neu generiert und diese hochgeladen (habe ich nochmal angehängt).

Aber: ich bekomme in der Search Console immer noch die gleiche Fehlermeldung!!

Jetzt habe ich mal die Sitemap darüber geprüft und folgende Fehlermeldung erhalten:

"Netzwerk nicht erreichbar: robots.txt ist nicht erreichbar Ihre Sitemap konnte nicht gecrawlt werden, da wir im Stammverzeichnis Ihrer Website die Datei "robots.txt" gefunden haben, diese jedoch nicht herunterladen konnten. Stellen Sie sicher, dass sie für den Zugriff verfügbar ist, oder entfernen Sie sie vollständig."

 

du hast die robots nicht im Hauptverzeichniss geladen sondern wieder unter shop!!

 

Aaaaarrrrggghhhhh jetzt habe ich die robots.txt mal wieder vom Server gelöscht und ich bekomme immer noch die gleiche Fehlermeldung .....

 

Nein, hatte ich extra drauf geachtet! Wie kommst du da drauf? Das /shop/ generiert die robots.Datei selber. Vielleicht ist das der Fehler??
Ich habe die definitiv in den Hauptordner www......com/ geladen!!

 

nicht generieren und downloaden mach einfach generieren und und speichern

 

/shop/ ist bei die scheinbar ein unterverzeichniss / unterordner in deinem haupverzeichniss