Co je to robots.txt?

Robots.txt = soubor v textovém formátu pro Vyhledávací roboty Google, Seznamu aj. Ze souboru zjistí, které stránky nemají procházet.

K čemu je robots.txt dobrý?

Většinou nechcete, aby všechny stránky vašeho webu byly k nalezení ve výsledcích vyhledávání – SERP. Standardně zakazujeme přístup do složky s administračním systémem. Některé CMS systémy mají Robots.txt vyřešený již po instalaci. Říkají robotům, ať neprocházejí položky s citlivými informacemi.

Umístění robots.txt

Soubor umísťujte vždy do rootu (kořenovém adresáři) webu. Vyhledávací robot se tam vždy podívá nejdříve a zjistí, kam má přístup. Pojmenujte jej „robots.txt“ – vše malými písmeny.

Příklady pravidel robots.txt