Jak nastavit soubor Robots.txt

Co je robots.txt?

Robots.txt je textový soubor, který webmasteři vytvářejí, aby instruovali webové roboty (obvykle roboty vyhledávačů), jak mají procházet stránky na jejich webu.

Soubor robots.txt dává robotům vyhledávačů pokyny, které stránky by měly být sledovány a které ne (např. nechcete, aby byl sledován váš panel administrace, protože může být indexován v Googlu, což usnadňuje jeho hacknutí atd.).

Jak nastavím soubor robots.txt?

Můžete použít buď online generátor, jako je tento nebo si nastavte vlastní v následujícím formátu:

Zde je několik příkladů robots.txt v akci:

Začneme nahráním souboru Robots.txt do kořenového adresáře, takže se bude zobrazovat zde: yourdomain.com/robots.txt.

Jak zablokovat všechny webové prohlížeče pro veškerý obsah

User-agent: *
Zakázat: /

Použitím této syntaxe v souboru robots.txt bychom všem webovým prohlížečům řekli, aby vůbec neprohledávaly žádné stránky. Tuto možnost pravděpodobně nechcete použít.

Jak umožnit všem webovým vyhledávačům přístup k vašemu obsahu

User-agent: *
Zakázat:

Použitím této syntaxe sdělíte webovým vyhledávačům, aby prohledávaly všechny stránky na adrese yourdomain.com, včetně domovské stránky.

Blokování konkrétního webového prohlížeče z konkrétní složky

User-agent: Googlebot
Zakázat: /example-subfolder/

Tato syntaxe říká pouze vyhledávači Google (název uživatelského agenta Googlebot), aby neprohlížel žádné stránky, které obsahují řetězec URL yourdomain.com/example-subfolder/.

Blokování konkrétního webového prohlížeče na konkrétní webové stránce

User-agent: Bingbot
Zakázat: /example-subfolder/blocked-page.html

Tato syntaxe říká pouze vyhledávači Bing (název uživatelského agenta Bing), aby neprohledával konkrétní stránku na adrese yourdomain.com/example-subfolder/blocked-page.