Co je to robots.txt?

Robots.txt = soubor v textovém formátu pro Vyhledávací roboty Google, Seznamu aj. Ze souboru zjistí, které stránky nemají procházet.

K čemu je robots.txt dobrý?

Většinou nechcete, aby všechny stránky vašeho webu byly k nalezení ve výsledcích vyhledávání – SERP. Standardně zakazujeme přístup do složky s administračním systémem. Některé CMS systémy mají Robots.txt vyřešený již po instalaci. Říkají robotům, ať neprocházejí položky s citlivými informacemi.

Umístění robots.txt

Soubor umísťujte vždy do rootu (kořenovém adresáři) webu. Vyhledávací robot se tam vždy podívá nejdříve a zjistí, kam má přístup. Pojmenujte jej „robots.txt“ – vše malými písmeny.

Příklady pravidel robots.txt

Zákaz procházení celého webu:

User-agent: *
Disallow: /

Zákaz procházení adresáře admin:

User-agent: *
Disallow: /admin/

Blokace pouze Google robota:

User-agent: Googlebot
Disallow: /

Odkaz na umístění sitemap.xml:

Sitemap: https://example.com/sitemap.xml

Další zdroje