Daniel & Friends / Glossaire / robots.txt
SEO, GEO et AEOrobots.txt
Le fichier robots.txt se trouve à la racine d’un domaine et indique aux robots quelles parties du site ils peuvent explorer. Il pilote l’exploration, si bien qu’une URL bloquée peut apparaître dans l’index sans contenu quand d’autres pages pointent vers elle.
Daniel Votruba ·
En pratique
Pour retirer une page des résultats, utilisez noindex. Le fichier accueille aussi la référence au sitemap et les règles destinées aux robots d’IA.
Termes liés
- Noindex: Noindex est une directive qui demande aux moteurs de recherche de ne pas placer une page dans l’index.
- Budget de crawl (crawl budget): Le budget de crawl correspond au nombre de pages qu’un robot de moteur de recherche explore sur votre site sur une période donnée.
- Sitemap XML: Un sitemap XML est un fichier, en général sitemap.xml, qui transmet à un moteur de recherche la liste des URL d’un site et la date de la dernière modification.
- Robots d’IA (GPTBot et autres): Les robots d’IA sont des bots exploités par des éditeurs d’IA qui parcourent les sites pour entraîner des modèles ou récupérer des sources à jour pour leurs réponses.
Autres termes du groupe SEO, GEO et AEO
SEO · Redirections 301 et 302 · SEO des entités (entity SEO) · Recherche de mots-clés (keyword research) · SEO JavaScript et SSR · SEO local (local SEO) · Netlinking (link building) · SEO on-page · NAP et citations locales · SERP · Mots-clés de longue traîne · Mot-clé · Texte d’ancre (anchor text) · Mentions de marque · Topic cluster et pillar page · Maillage interne (internal linking) · YMYL (Your Money or Your Life) · llms.txt · AEO (answer engine optimization) · Knowledge Graph (graphe de connaissances) · Analyse de logs (log file analysis) · Intention de recherche (search intent) · Audit SEO · Indexation mobile-first (mobile-first indexing)
Tout le glossaire (590 termes)
Les termes en pratique
Besoin d’aide pour les mettre en œuvre ?
Les termes sont une chose, la mise en œuvre en est une autre. Nous regardons lesquels sont rentables pour vous et nous le disons franchement. Le premier avis est gratuit et nous répondons sous 24 heures.
Prendre rendez-vous