Cum să configurați un fișier Robots.txt

Ce este robots.txt?

Robots.txt este un fișier text pe care administratorii de site-uri web îl creează pentru a instrui roboții web (de obicei, roboții motoarelor de căutare) cu privire la modul în care trebuie să parcurgă paginile de pe site-ul lor.

Fișierul robots.txt oferă directive pentru roboții motoarelor de căutare cu privire la paginile care ar trebui să fie urmărite și care nu (de exemplu, nu doriți ca panoul de administrare să fie urmărit, deoarece ar putea fi indexat în Google, facilitând astfel piratarea etc...).

Cum se configurează robots.txt?

Puteți utiliza fie un generator online ca acesta sau să vă creați unul propriu cu următorul format:

Iată câteva exemple de robots.txt în acțiune:

Vom începe prin a încărca un fișier Robots.txt, în directorul nostru rădăcină, astfel încât să apară aici: yourdomain.com/robots.txt

Cum să blocați toate crawlerele web de la tot conținutul

Agent utilizator: *
Nu permite: /

Folosind această sintaxă în fișierul robots.txt, vom spune tuturor operatorilor de web crawlere să nu acceseze nicio pagină. Probabil că nu doriți să utilizați această opțiune.

Cum să permiteți accesul tuturor crawlerelor web la conținutul dvs.

Agent utilizator: *
Nu permite:

Utilizarea acestei sintaxe le spune operatorilor de căutare web să cerceteze toate paginile de pe yourdomain.com, inclusiv pagina principală.

Blocarea unui anumit web crawler dintr-un anumit dosar

Agent utilizator: Googlebot
Nu permite: /exemplu-subfolder/

Această sintaxă îi spune doar crawlerului Google (numele agentului utilizator Googlebot) să nu cerceteze paginile care conțin șirul URL yourdomain.com/example-subfolder/.

Blocarea unui anumit web crawler de pe o anumită pagină web

Agent utilizator: Bingbot
Nu permite: /exemplu-subfolder/blocked-page.html

Această sintaxă îi spune doar crawlerului Bing (user-agent name Bing) să evite parcurgerea paginii specifice de la yourdomain.com/example-subfolder/blocked-page.