Ich bekomme von bing webmastertools bei einigen Seiten diese Meldung: URL: http://cuddlebearshop.com/shampoo-u...d-conditioner=nogga&cat=c22&cpath=1_22&page=2 Status: Die URL wurde von "robots.txt" gesperrt. Auslöser ist offenbar dieser Eintrag in der robots.txt allow: /*gm_boosted_category* Disallow: /*gm_boosted_product* Kann mir jemand erklären warum diese Seite gesperrt wird?
Das sind die nicht-seo-boost-urls die weitergeleitet werden auf die seo boost URLs. Macht zur Vermeidung von Double Content grundsätzlich Sinn, den Suchmaschinen-Robots nur eine Url anzubieten und die andere zu verbieten. Problematisch ist das nur, wenn man in den Kategorien so viele Produkte hat dass sie nicht auf eine Kategorieseite passen, weil es keine Seo Boost Unterstützung für Kategorie-Folgeseiten gibt. Wenn man in der robots.txt von Gambio die gm_boosted_categories auf disallow stehen bat, wird damit für jede Kategorie immer nur die erste Kategorieseite indexiert und Folgeseiten mit weiteren Produkten in der Kategorie werden nicht aufgenommen in den Suchmaschinen. Ich habe das vor einiger Zeit schon bemängelt aber es hat offenbar keine so große Priorität. Du kannst also jetzt entscheiden, ob du den Eintrag in der robots.txt rausnimmst und riskierst, dass du Double Content in die Suchmaschinen bringst oder ob du es einfach in Kauf nimmst, dass immer nur die erste Kategorieseite in die Suchmaschinen kommt. Edit: Ich sehe gerade: Bei dir sind die gm_boosted_categories ja ERLAUBT - dann hast du das Problem nicht. Dass die gm_boosted_product gesperrt sind ist gut so, wenn du den gambio seo boost aktiviert hast - dann sind deine Produktseiten ja alle über die "guten" URLs erreichbar...