robots.txt für deine Website erstellen
Trage hier die Adresse deiner Internetseite ein. Wir prüfen deine bisherige
robots.txt und bauen daraus einen sicheren Vorschlag mit klaren
Regeln für Suchmaschinen und KI-Crawler.
Kostenlos und ohne Anmeldung.
Es wurden schon 128 robots.txt-Dateien mit unserem Tool erstellt.
Deine fertige robots.txt
Wähle aus, was gelten soll. Der Vorschlag passt sich sofort an. Danach kannst du den Text direkt im Feld ändern und herunterladen.
Lies die Datei vor dem Hochladen einmal durch. Eine falsche Zeile kann deine Website für Suchmaschinen sperren.
So bindest du deine robots.txt ein
- Lade die Datei herunter. Sie heißt
robots.txt, genau so und klein geschrieben. - Lege sie auf deinem Webspace ganz oben ab, im obersten Ordner deiner Website. Liegt dort schon eine, ersetzt du sie.
- Prüfe im Browser, ob
deine-seite.de/robots.txtdeinen Text anzeigt. - Nutzt du die Google Search Console? Dann fordere im robots.txt-Bericht unter „Einstellungen“ ein erneutes Crawlen an.
Du kommst an einer Stelle nicht weiter oder willst das lieber abgeben? Kein Problem. Melde dich gerne bei uns und vereinbare einen kurzen Termin (öffnet in einem neuen Tab). Wir übernehmen das für dich.
Was ist eine robots.txt?
Eine kleine Textdatei im obersten Ordner deiner Website. Bevor ein Crawler, also das Leseprogramm einer Suchmaschine oder eines KI-Systems, deine Seiten abruft, schaut er dort nach, was er darf. In der Datei steht, für wen eine Regel gilt und welche Bereiche er auslassen soll. Dazu kommt meist ein Hinweis auf deine Sitemap.
Die robots.txt ist eine Bitte, kein Schloss. Seriöse Crawler wie die von Google, Bing, OpenAI oder Anthropic halten sich daran. Vertrauliche Inhalte gehören deshalb hinter ein Passwort, nicht in eine robots.txt.
Sie ist auch kein Werkzeug, um Seiten aus Google zu entfernen. Eine gesperrte Seite kann trotzdem im Suchergebnis auftauchen, nur ohne Beschreibung. Dafür gibt es die Angabe „noindex“ im Seitenkopf.
robots.txt, llms.txt und sitemap.xml: Wer liest was?
Die drei Dateien liegen nebeneinander im obersten Ordner, haben aber sehr unterschiedliches Gewicht. Die robots.txt liest jeder seriöse Crawler, bevor er irgendetwas anderes abruft. Google speichert sie in der Regel bis zu 24 Stunden zwischen und holt sie dann neu. Die Sitemap rufen Suchmaschinen regelmäßig ab.
Bei der llms.txt sieht es anders aus. Ahrefs hat dafür rund 137.000 Websites ausgewertet: 97 Prozent der vorhandenen llms.txt-Dateien wurden im Mai 2026 kein einziges Mal abgerufen.
Wenn du also nur eine dieser Dateien pflegst, dann die robots.txt. Sie entscheidet, ob eine KI deine Website überhaupt lesen darf. Die llms.txt erklärt ihr danach, was sie dort findet. Die erstellst du mit unserem kostenlosen llms.txt-Generator.
KI-Crawler in der robots.txt
Seit KI-Systeme ihre Antworten aus Websites zusammenstellen, ist die robots.txt wichtiger geworden. Viele Websites sperren KI-Crawler, ohne es zu wissen. Eine Zeile aus einer alten Vorlage genügt. Dann kann ChatGPT deine Seite nicht lesen und dich auch nicht empfehlen.
Training oder Suche: Der wichtige Unterschied in der robots.txt
Die großen Anbieter schicken mehrere Crawler mit verschiedenen Aufgaben los. Einer sammelt Texte, um künftige Sprachmodelle zu trainieren. Ein anderer baut den Suchindex, aus dem die KI ihre Antworten mit Quellenangabe holt. Ein dritter ruft eine Seite ab, wenn jemand im Chat ausdrücklich danach fragt.
Diese Aufgaben lassen sich getrennt regeln. Wer nicht möchte, dass seine Texte in Trainingsdaten landen, sperrt nur die Trainings-Crawler und bleibt in der KI-Suche sichtbar. Unser Tool bietet dir genau diese Wahl.
Die Tabelle lässt sich seitlich schieben.
| Anbieter | Crawler | Aufgabe |
|---|---|---|
| OpenAI | GPTBot | Training |
| OpenAI | OAI-SearchBot | Suche in ChatGPT |
| OpenAI | ChatGPT-User | Abruf auf Nachfrage im Chat |
| Anthropic | ClaudeBot | Training |
| Anthropic | Claude-SearchBot | Suche in Claude |
| Anthropic | Claude-User | Abruf auf Nachfrage im Chat |
| Perplexity | PerplexityBot | Suche in Perplexity |
| Perplexity | Perplexity-User | Abruf auf Nachfrage im Chat |
| Google-Extended | Training und Antworten von Gemini | |
| Apple | Applebot-Extended | Training von Apple Intelligence |
| Meta | meta-externalagent | Training von Meta AI |
| Common Crawl | CCBot | Datensammlung, Grundlage vieler Modelle |
Google-Extended und Applebot-Extended betreffen nur die KI. Die normale Suche bei Google und Apple läuft über eigene Crawler und bleibt davon unberührt.
Unsere Empfehlung für die meisten Unternehmen: Alles erlauben. Wer gefunden werden möchte, sollte keinem KI-System den Zugang verwehren.
FAQ zur robots.txt
Brauche ich überhaupt eine robots.txt?
Vorgeschrieben ist sie nicht. Fehlt sie, dürfen alle Crawler alles lesen. Sinnvoll ist sie trotzdem: Sie zeigt Suchmaschinen, wo deine Sitemap liegt, hält Crawler aus Bereichen wie dem Login heraus und legt fest, wie du mit KI-Crawlern umgehst.
Kann ich mit der robots.txt eine Seite aus Google entfernen?
Nein. Die robots.txt verbietet das Lesen, nicht das Anzeigen. Eine gesperrte Seite kann weiter im Suchergebnis stehen, wenn andere Seiten auf sie verlinken, dann eben ohne Beschreibung. Zum Entfernen gehört die Angabe „noindex“ in den Seitenkopf. Wichtig dabei: Diese Seite darf dann nicht in der robots.txt gesperrt sein, sonst sieht Google das „noindex“ nie.
Sollte ich KI-Crawler sperren?
Wenn du in Antworten von ChatGPT, Claude oder Perplexity vorkommen möchtest, nein. Wer die Such-Crawler dieser Dienste sperrt, ist dort nicht auffindbar. Möchtest du nur nicht, dass deine Texte in Trainingsdaten landen, sperre gezielt die Trainings-Crawler. Mit unserem Tool ist das ein Klick, und in der KI-Suche bleibst du sichtbar.
Halten sich alle Crawler an die robots.txt?
Seriöse Anbieter tun das, darunter Google, Microsoft, Apple, OpenAI und Anthropic. Verpflichtet ist niemand: Die Datei ist eine Bitte, kein Schloss. Was wirklich geschützt sein muss, gehört hinter ein Passwort.
Wo muss die robots.txt liegen?
Im obersten Ordner deiner Website, erreichbar unter deine-seite.de/robots.txt. In einem Unterordner wird sie nicht beachtet. Jede Subdomain braucht ihre eigene, denn für shop.deine-seite.de gilt nicht die Datei von www.deine-seite.de. Der Dateiname wird klein geschrieben.
Wie schnell wirkt eine Änderung?
Google speichert die robots.txt in der Regel bis zu 24 Stunden zwischen und holt sie dann neu. Schneller geht es über die Google Search Console: Unter „Einstellungen“ findest du den robots.txt-Bericht, dort kannst du ein erneutes Crawlen anfordern.
Was passiert, wenn meine robots.txt nicht erreichbar ist?
Meldet der Server „nicht gefunden“, gilt alles als erlaubt. Antwortet er dagegen mit einem Serverfehler, behandelt Google die ganze Website vorsichtshalber als gesperrt und liest vorerst keine Seite. Unser Tool prüft das mit.
Weitere kostenlose Tools
- llms.txt-Generator: Erklärt KI-Systemen in einer kurzen Datei, worum es auf deiner Website geht.