Daniel & Friends / Glossar / robots.txt
SEO, GEO und AEOrobots.txt
Die Datei robots.txt liegt im Stammverzeichnis einer Domain und teilt Bots mit, welche Bereiche der Website sie crawlen dürfen. Sie steuert das Crawling, daher kann eine dort gesperrte URL ohne Inhalt im Index erscheinen, wenn andere Seiten auf sie verlinken.
Daniel Votruba ·
In der Praxis
Um eine Seite aus den Ergebnissen zu entfernen, nutzen Sie noindex. In der Datei stehen außerdem der Verweis auf die Sitemap und Regeln für KI-Crawler.
Verwandte Begriffe
- Noindex: Noindex ist eine Anweisung, mit der Suchmaschinen eine Seite nicht in den Index aufnehmen.
- Crawl-Budget: Das Crawl-Budget ist die Zahl der Seiten, die ein Suchmaschinen-Bot in einem bestimmten Zeitraum auf Ihrer Website abruft.
- XML-Sitemap: Eine XML-Sitemap ist eine Datei, meist sitemap.xml, die einer Suchmaschine eine Liste der URLs einer Website und das Datum der letzten Änderung übergibt.
- KI-Crawler (GPTBot und andere): KI-Crawler sind Bots von KI-Anbietern, die Websites besuchen, um Modelle zu trainieren oder aktuelle Quellen für Antworten abzurufen.
Weitere Begriffe aus der Gruppe SEO, GEO und AEO
Schema Markup und Rich Results · On-Page-SEO · SEO · SEO-Audit · NAP und Zitationen (Citations) · SERP · Mobile-First-Indexierung · Strukturierte Daten · Markenerwähnungen · Suchintention (Search Intent) · Long-Tail-Keywords · Themenautorität · Lokales SEO (Local SEO) · Topic Cluster und Pillar Page · Logfile-Analyse · Weiterleitung 301 und 302 · llms.txt · Linkbuilding · YMYL (Your Money or Your Life) · Knowledge Graph (Wissensgraph) · 404-Fehler · Keyword-Schwierigkeit (Keyword Difficulty) · AEO (Answer Engine Optimization) · Keyword-Recherche
Zum gesamten Glossar (590 Begriffe)
Begriffe in der Praxis
Brauchen Sie Hilfe bei der Umsetzung?
Begriffe sind das eine, die Umsetzung das andere. Wir gehen durch, welche sich für Sie lohnen, und sagen es offen. Die erste Einschätzung ist kostenlos, wir antworten innerhalb von 24 Stunden.
Gespräch vereinbaren