Was sich am Generator getan hat
Hier steht, was wir am Tool verbessert haben, das Neueste zuerst. Die Liste beginnt mit dem Tag, an dem der Generator online ging. Kleinigkeiten an der Gestaltung führen wir nicht auf, nur das, was du auch merkst.
Alle Crawler erklärt, KI-Training konsequenter ausgeschlossen
Version 1.1 14.10.2026
Die Tabelle „KI-Crawler in der robots.txt“ nennt jetzt alle 18 Crawler, die in deiner fertigen Datei stehen, in derselben Reihenfolge. So kannst du jede Zeile nachlesen. Außerdem gilt der Amazonbot jetzt als Trainings-Crawler: Amazon nutzt ihn für Alexa und für das Training eigener Modelle. Wählst du „KI-Training ausschließen“, wird er deshalb mitgesperrt.
Der Generator ist online
Version 1.0 14.10.2026
Ab heute öffentlich erreichbar, kostenlos und ohne Anmeldung. Das Tool prüft deine bisherige robots.txt und baut einen Vorschlag mit klaren Regeln für Suchmaschinen und KI-Crawler.