In der robots-Datei kannst Du festlegen, dass bestimmte URL nicht von Google und Co gelesen werden sollen. So kannst Du es z.B. Abmahnern etwas schwerer machen Deine AGB bei Google zu finden.