robots.txt für Ihre Webseite aktivieren
Einstellungen öffnen
Öffnen Sie die Einstellungen (Zahnradsymbol) (1) und wählen Sie anschließend Einstellungen (2).
robots.txt aktivieren und Werte festlegen
Wählen Sie den vierten Reiter „robots.txt„. Wenn Sie den Haken bei „Aktivieren robots.txt“ setzen, können Sie im Feld darunter diverse Werte festlegen. Mit der robots.txt Datei kann zum Beispiel festlegt werden, welche Seiten und Verzeichnisse von Google® und anderen Suchmaschinen indexiert werden dürfen und welche nicht.
Beispiele für Werte der robots.txt finden Sie auf Wikipedia.