Daniel & Friends / Glossar / KI-Crawler (GPTBot und andere)
KI und AutomatisierungKI-Crawler (GPTBot und andere)
KI-Crawler sind Bots von KI-Anbietern, die Websites besuchen, um Modelle zu trainieren oder aktuelle Quellen für Antworten abzurufen. Bekannte Beispiele sind GPTBot, ClaudeBot und PerplexityBot. Jeder meldet sich im User-Agent mit eigenem Namen.
Daniel Votruba ·
In der Praxis
Legen Sie in der robots.txt fest, welche Bots Sie zulassen, und bedenken Sie, dass ein Anbieter oft mehrere Bots mit unterschiedlichem Zweck betreibt. Tatsächliche Besuche prüfen Sie im Server-Log.
Mehr zum Thema: So kommen Sie in die Antworten von ChatGPT: ein praktischer GEO-Leitfaden
Verwandte Begriffe
- llms.txt: llms.txt ist eine vorgeschlagene Datei im Stammverzeichnis einer Website, die KI-Werkzeugen einen Überblick über die wichtigen Seiten bietet.
- GEO (Generative Engine Optimization): GEO ist die Anpassung einer Website und ihrer Inhalte, damit generative Suchmaschinen und KI-Assistenten wie ChatGPT, Perplexity oder Google AI Overviews sie finden, verstehen und zitieren.
- KI-Suche (Antwortmaschinen): KI-Suche ist eine Form der Suche, bei der das System aus mehreren Quellen eine zusammenhängende Antwort formuliert und die Quellen nennt.
- SEO: SEO ist die Optimierung einer Website für organische Suchergebnisse.
- XML-Sitemap: Eine XML-Sitemap ist eine Datei, meist sitemap.xml, die einer Suchmaschine eine Liste der URLs einer Website und das Datum der letzten Änderung übergibt.
Weitere Begriffe aus der Gruppe KI und Automatisierung
KI-Governance · KI-Automatisierung · KI-Scoring · KI-Agent · KI-Sicherheit und Alignment · Jailbreak (KI) · KI-Slop · Inferenz und Latenz · Human in the Loop · KI-Workflow und Orchestrierung · Halluzination · Kleines Sprachmodell (SLM) · Guardrails (Schutzmechanismen für KI) · Kontextfenster · Grounding · Kosten und Limits von KI · Großes Sprachmodell (LLM) · Maschinelles Lernen (ML) · Generative KI · MCP (Model Context Protocol) · Function Calling (Werkzeugaufruf) · Modellevaluierung (Evals) · Foundation Model · Multi-Agenten-System
Zum gesamten Glossar (590 Begriffe)
Begriffe in der Praxis
Brauchen Sie Hilfe bei der Umsetzung?
Begriffe sind das eine, die Umsetzung das andere. Wir gehen durch, welche sich für Sie lohnen, und sagen es offen. Die erste Einschätzung ist kostenlos, wir antworten innerhalb von 24 Stunden.
Gespräch vereinbaren