Robots.txt: co to je a jak ho
správně nastavit

Základ

Co je robots.txt

Robots.txt je jednoduchý textový soubor umístěný v kořenovém adresáři domény, který říká crawlerům, které části webu smí procházet a které ne. Každý robot, který přijde na web, by si ho měl nejdřív přečíst a teprve pak začít procházet stránky.

Soubor je veřejně přístupný komukoli. Zobrazíte ho zadáním vasestranka.cz/robots.txt přímo do prohlížeče. To je důležité vědět, protože cokoli do něj napíšete, uvidí nejen crawleři, ale i konkurence nebo případní útočníci.

K čemu robots.txt reálně slouží

Soubor robots.txt je důležitou součástí SEO. Níže jsou typické situace, kdy robots.txt pomáhá. Důležité je hned na začátku říct: robots.txt neblokuje indexaci, pouze crawling. Rozdíl vysvětlujeme detailně v další sekci.

Syntaxe

Syntaxe robots.txt: direktivy a pravidla zápisu

Soubor se skládá z bloků. Každý blok začíná řádkem User-agent a obsahuje jednu nebo více direktiv Disallow nebo Allow. Mezi bloky musí být prázdný řádek.

# Blokuje admin sekci
User-agent: *
Disallow: /wp-admin/

# Povoluje přístup k souboru
# pro správu WordPressu
Allow: /wp-admin/admin-ajax.php

User-agent: pro koho pravidlo platí

Direktiva User-agent určuje, kterého crawlera se blok pravidel týká. Hodnota * (hvězdička) znamená všechny roboty. Místo hvězdičky lze napsat konkrétní jméno crawlera, například Googlebot nebo Seznambot.

Klíčové chování, které mate mnoho webmasterů: hvězdička se nedědí. Pokud pro konkrétního crawlera napíšete vlastní blok, pravidla pro * pro něj přestanou platit úplně. Googlebot v příkladu níže smí do /en/, i když je tam globálně zakázán.

# Platí pro všechny crawlery
User-agent: *
Disallow: /en/

# Googlebot má vlastní blok
# pravidlo pro * pro něj přestane platit
# Googlebot tedy do /en/ smí!
User-agent: Googlebot
Disallow: /cs/

# Správné řešení, pokud chceme obojí:
User-agent: Googlebot
Disallow: /en/
Disallow: /cs/

Disallow: kam robot nesmí

Direktiva Disallow zakáže crawlerovi přístup na cesty začínající zadaným řetězcem. Lomítko musí být vždy na začátku, protože jím začínají všechny cesty k souborům.

Allow: povolení v rámci zakázané sekce

Direktiva Allow povolí konkrétní cestu nebo soubor, i když nadřazený adresář je zakázaný. Používá se typicky ve WordPressu: zakážete celý /wp-admin/, ale povolíte admin-ajax.php, který je potřeba pro správné fungování frontendu.

Jak Google prioritizuje pravidla: Google (a Bing) se vždy řídí nejkonkrétnější direktivou, bez ohledu na pořadí v souboru. Ostatní vyhledávače (např. Seznam) se řídí pořadím direktiv. Pokud chcete spolehlivé chování napříč vyhledávači, pište Allow vždy před Disallow.

# WordPress: zakázat admin, ale ponechat ajax
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Wildcards: hvězdička * a dolar $

Wildcards umožňují blokovat celé skupiny URL pomocí zástupných znaků v direktivách Disallow a Allow:

• * (hvězdička) nahrazuje žádný, jeden nebo více libovolných znaků kdekoli v URL
• $ (dolar) označuje konec URL, tedy přesný konec adresy

# Blokuje všechny PDF soubory
Disallow: /*.pdf$

# Blokuje URL s parametrem fbclid (Facebook tracking)
Disallow: /*?*fbclid=

# Blokuje URL s libovolným parametrem v e-shopu
Disallow: /produkty/*?sort=

# Blokuje výchozí dokument v adresáři /komentare/,
# ale ostatní soubory v něm povoluje
Disallow: /komentare/$

Crawl-delay: zpomalení crawlování

Direktiva Crawl-delay říká crawlerovi, kolik sekund má čekat před stažením další stránky. Google ji ignoruje a rychlost crawlování nastavuje v Google Search Console. Bingbot a Seznambot ji respektují.

# Zpomalení pro Bingbot na 10 sekund
User-agent: bingbot
Allow: /
Crawl-delay: 10

Sitemap: odkaz na mapu webu

Součástí robots.txt by měl být odkaz na sitemap.xml. Uvádějte vždy absolutní URL včetně protokolu a domény. Lze uvést až 100 odkazů na sitemapy.

Sitemap: https://www.vasestranka.cz/sitemap.xml

# U velkých webů lze uvést více sitemapových souborů:
Sitemap: https://www.vasestranka.cz/sitemap-produkty.xml
Sitemap: https://www.vasestranka.cz/sitemap-kategorie.xml

Aktuální téma

Jak blokovat AI crawlery v robots.txt

AI crawleři jako GPTBot (OpenAI) nebo ClaudeBot (Anthropic) procházejí weby za účelem sběru dat pro trénování jazykových modelů. Většina z nich robots.txt respektuje, takže blokování je technicky jednoduché. Stačí přidat příslušný blok User-agent.

Zda AI crawlery blokovat, je obchodní rozhodnutí. Někteří provozovatelé obsah chrání, jiní naopak chtějí být citováni v odpovědích AI nástrojů. Pokud vás zajímá druhá strana, tedy jak optimalizovat obsah tak, aby vás AI zmiňovala, podívejte se na naši stránku o GEO (generative engine optimization) nebo na llms.txt, což je soubor podobný robots.txt speciálně navržený pro AI modely.

Přehled hlavních AI crawlerů

Jak AI crawlery zablokovat

Pro každého crawlera stačí přidat samostatný blok s direktivou Disallow. Chcete-li zakázat všechny najednou, přidejte bloky za sebou. Pořadí bloků nehraje roli.

# Blokování AI crawlerů pro trénování modelů
# Přidejte pod stávající pravidla vašeho robots.txt

# OpenAI
User-agent: GPTBot
Disallow: /

# Anthropic
User-agent: ClaudeBot
Disallow: /

# Google AI (Gemini, trénování modelů)
# POZOR: toto neblokuje běžný Googlebot pro vyhledávání!
User-agent: Google-Extended
Disallow: /

# Perplexity AI
User-agent: PerplexityBot
Disallow: /

# Apple AI funkce
User-agent: Applebot-Extended
Disallow: /

# Common Crawl (dataset pro mnoho AI projektů)
User-agent: CCBot
Disallow: /

Důležité upozornění: Blokování Google-Extended neovlivní běžný Googlebot, který zajišťuje indexaci ve vyhledávání. Jsou to dva samostatné crawleři s různými User-agent řetězci. Vaše pozice ve výsledcích vyhledávání se nezhorší.

Pokročilé

Robots.txt a crawl budget: kdy to reálně řešit

Crawl budget je počet stránek, které je Google ochoten procházet na vašem webu za určitý čas. Pro většinu webů s jednotkami nebo desítkami tisíc stránek není crawl budget problém. Aktivně ho řešte až tehdy, kdy máte stovky tisíc URL nebo kdy Google indexuje stránky, které indexovat nemají.

Kdy robots.txt na crawl budget nestačí

Blokování v robots.txt pomáhá, ale není jediné řešení. Pro komplexní e-shopy doporučujeme kombinaci:

• Robots.txt pro blokování URL s parametry na úrovni celých skupin
• Canonical tag na filtrovaných stránkách odkazující na hlavní kategorii
• Google Search Console pro sledování, které URL Google skutečně crawluje a indexuje
• Parametry URL v Search Console jako alternativa k blokování v robots.txt (pouze pro Google)

Z praxe PŘESAH.agency: U projektů s katalogem nad 50 000 produktů vidíme, že špatně nastavený robots.txt nebo chybějící canonical u filtrů způsobuje, že Google indexuje tisíce duplicitních URL a na skutečné produktové stránky se dostane jen zlomek crawl budgetu. Výsledkem je, že nové produkty se neobjeví ve výsledcích vyhledávání i týdny po přidání.

Otázky a odpovědi

Nejčastější otázky o robots.txt