Daniel & Friends / Slovník / robots.txt
SEO, GEO a AEOrobots.txt
Soubor robots.txt leží v kořeni domény a říká robotům, které části webu smějí procházet. Řídí procházení, takže adresa zablokovaná v něm se může v indexu objevit i bez obsahu, pokud na ni vede odkaz.
Daniel Votruba ·
V praxi
Pro vyřazení stránky z výsledků použijte noindex. Do robots.txt patří i odkaz na sitemapu a pravidla pro AI crawlery.
Související pojmy
- Noindex: Noindex je pokyn pro vyhledávače, aby stránku nezařadily do indexu.
- Crawl budget (rozpočet procházení): Crawl budget je počet stránek, které robot vyhledávače na webu projde za určité období.
- XML sitemap: XML sitemap je soubor, obvykle sitemap.xml, který vyhledávači předává seznam adres webu a datum poslední změny.
- AI crawlery (GPTBot a další): AI crawlery jsou roboty provozovatelů AI služeb, které procházejí weby kvůli trénování modelů nebo kvůli odpovědím s aktuálními zdroji.
Další pojmy ze skupiny SEO, GEO a AEO
SEO · Přesměrování 301 a 302 · SEO audit · Průzkum klíčových slov (keyword research) · SERP · On-page SEO · Schema markup a rich results · Obtížnost klíčového slova (keyword difficulty) · Strukturovaná data · Tematická autorita · NAP a citace (local citations) · Topic cluster a pillar page · Mobile-first indexing · Užitečný obsah (helpful content) · Long tail klíčová slova · Lokální SEO · YMYL (Your Money or Your Life) · llms.txt · Záměr vyhledávání (search intent) · Link building · Zmínky o značce · Knowledge Graph (znalostní graf) · Zpětný odkaz · Klíčové slovo
Pojmy do praxe
Potřebujete s nimi pomoct?
Pojmy jsou jedna věc, nasazení druhá. Projdeme, co z nich se vám vyplatí, a řekneme to na rovinu. První názor dostanete zdarma a odpovídáme do 24 hodin.
Sjednat call