Legen Sie fest, was Suche und KI auf Ihrer Website lesen dürfen
Erstellen Sie eine robots.txt, die jeden Crawler erlaubt oder sperrt, und eine llms.txt, die KI-Tools eine kurze Übersicht Ihrer Website gibt. Kostenlos, und die Dateien entstehen in Ihrem Browser.
URL eingeben
Optional. Wir füllen das Formular aus Ihrer aktuellen robots.txt, Sitemap und Startseite.
Regeln festlegen
Erlauben oder sperren Sie jeden Crawler, und wählen Sie die Seiten, die KI-Tools kennen sollen.
Beide Dateien kopieren
Laden Sie robots.txt und llms.txt herunter, und legen Sie sie im Hauptverzeichnis Ihrer Domain ab.
robots.txt
Sagt Crawlern, welche Teile Ihrer Website sie lesen dürfen. Die meisten Such- und KI-Crawler halten sich daran.
Suchmaschinen
Klassische Websuche. Wenn Sie diese sperren, verschwinden Ihre Seiten aus den Suchergebnissen.
GooglebotGoogle
Google-Suche, auch die KI-Übersichten. Eine Sperre nimmt Ihre Website aus Google.
BingbotMicrosoft
Bing-Suche. Ihr Index speist auch Copilot und andere Suchmaschinen.
KI-Suche
Indexieren Seiten, damit KI-Assistenten sie in Antworten zeigen und verlinken.
OAI-SearchBotOpenAI
Zeigt Ihre Seiten in den Suchantworten von ChatGPT.
Claude-SearchBotAnthropic
Indexiert Seiten für Suchergebnisse in Claude.
PerplexityBotPerplexity
Indexiert Seiten für Antworten in Perplexity. Laut Perplexity nicht für Training genutzt.
KI-Training
Sammeln Seiten, um KI-Modelle zu trainieren. Eine Sperre nimmt Sie nicht aus der Suche.
GPTBotOpenAI
Sammelt Seiten, mit denen OpenAI seine Modelle trainieren kann.
ClaudeBotAnthropic
Sammelt Seiten, mit denen Anthropic seine Modelle trainieren kann.
Google-ExtendedGoogle
Legt fest, ob Google Ihre Seiten für das Training von Gemini und für dessen Antworten nutzen darf. Die Google-Suche bleibt unberührt.
Applebot-ExtendedApple
Legt fest, ob Apple Ihre Seiten für das Training seiner KI-Modelle nutzen darf. Siri und die Spotlight-Suche bleiben unberührt.
Meta-ExternalAgentMeta
Sammelt Seiten, um die KI-Modelle von Meta zu trainieren.
CCBotCommon Crawl
Baut das offene Archiv von Common Crawl auf, mit dem viele KI-Firmen trainieren.
BytespiderByteDance
Sammelt Seiten für die KI-Modelle von ByteDance, der Firma hinter TikTok.
Auf Anfrage
Öffnen eine Seite, wenn jemand einen KI-Assistenten danach fragt. Manche halten sich dabei nicht an die robots.txt.
ChatGPT-UserOpenAI
Öffnet eine Seite, wenn jemand in ChatGPT danach fragt. Laut OpenAI gilt die robots.txt dabei unter Umständen nicht.
Claude-UserAnthropic
Öffnet eine Seite, wenn jemand in Claude danach fragt.
Perplexity-UserPerplexity
Öffnet eine Seite, wenn jemand in Perplexity danach fragt. Laut Perplexity wird die robots.txt dabei meist ignoriert.
Gelten für jeden Crawler, den Sie erlauben. Ein Pfad pro Zeile, z. B. /wp-admin/
Pfade in einem gesperrten Ordner, die offen bleiben, z. B. /wp-admin/admin-ajax.php
# Made with https://www.webvise.io/tools/robots-llms-generator
User-agent: *
Allow: /
Diese Datei ersetzt Ihre aktuelle robots.txt. Regeln für Crawler, die nicht in dieser Liste stehen, werden nicht übernommen.
llms.txt
Eine kurze Markdown-Datei, die KI-Tools sagt, wer Sie sind und welche Seiten am wichtigsten sind. Sie folgt dem Format von llmstxt.org.
Abschnitte und Links
Gruppieren Sie Ihre wichtigsten Seiten. Nennen Sie einen Abschnitt „Optional“ für Links, die KI-Tools bei wenig Platz weglassen dürfen.
# Website
Wohin die Dateien gehören
Beides sind einfache Textdateien. Sobald sie online sind, öffnen Sie sie zur Kontrolle im Browser.
Unsere SEO- & GEO-Leistung ansehenrobots.txt
Laden Sie sie ins Hauptverzeichnis Ihrer Domain, sodass sie unter ihre-website.de/robots.txt erreichbar ist. Crawler lesen sie vor allem anderen.
llms.txt
Legen Sie sie neben die robots.txt, unter ihre-website.de/llms.txt. KI-Tools, die das Format kennen, finden darüber Ihre wichtigsten Seiten.
WordPress
WordPress erzeugt eine eigene robots.txt. Eine Datei, die Sie ins Hauptverzeichnis laden, ersetzt sie. Viele SEO-Plugins haben auch einen robots.txt-Editor, in den Sie die Regeln einfügen können.