Hallo zusammen. Ich habe mal eine ganz blöde Frage. Im Content Manager und den statischen Seiten im SEO gibt es ja die robots.txt-Option. Wenn ich da den Haken setze, werden die Daten dann nicht in die robot.txt-Datei übernommen und wenn ich die Option nicht einschalte übernommen? Also, Haken setzen auf verbieten und Haken nicht setzen auf erlauben ? Sorry, da ich noch ein newbie in Sachen SEO etc. bin, ich mich aber jetzt damit beschäftigen muss, bin ich da etwas verunsichert .
Du stellst damit ein welche Dateien nicht von google und co besucht werden sollen. Damit z.B. AGB Seiten nicht durch abmahner durchsucht werden können nach veralteten einträgen usw. Impressum sollte man erlaubt lassen da dadurch auch Google Maps und andere Seiten deine Adresse und Tel. prüfen.
Soll die Seite von google und Co besucht werden, setzt Du einen Haken bei "in die Sitemap aufnehmen" und keinen Haken für die robots.txt. Soll eine Seite nicht von google und Co besucht werden, setzt Du einen Haken bei "Eintrag in die robots.txt" und keinen bei der Sitemap.
Aufnahme in die Sitemap Ja/Nein ist für mich verständlich. Aber wie ist "Eintrag in robots.txt (disallow)" zu deuten? Wird bei setzen des Hakens ein Eintrag in der robots.txt unterbunden? Und sollte man die AGBs in der robots.txt anzeigen lassen?
Nein, es wird ein Eintrag in die robots.txt geschrieben. Die robots.txt sagt den SuMas, "Diese Seite sollt ihr nicht besuchen"
Okay, das heißt, dass grundsätzlich beim Setzen des Hakens bei "robots.txt" es den Suchmaschinen nicht erlaubt ist dort nachzuschauen (disallow) und ohne Haken google und Co. die Erlaubnis haben (allow). Danke, aber manchmal habe ich ein Blackout und je mehr man über eine Sache nachdenkt, desto unsicherer wird man.
Und darauf achten das du bei disallow die seite auch nicht in die sitemap packst da sonst ein fehler bei google entsteht. Kannst ihm ja nicht sagen, schau mal da is ne Seite und dann will er nachsehen und die Robots sagt Ällabätch darfst du nicht.