Πώς να ρυθμίσετε ένα αρχείο Robots.txt

Τι είναι το robots.txt;

Το Robots.txt είναι ένα αρχείο κειμένου που δημιουργούν οι διαχειριστές ιστοσελίδων για να καθοδηγήσουν τα ρομπότ ιστού (συνήθως τα ρομπότ των μηχανών αναζήτησης) πώς να ανιχνεύουν τις σελίδες του ιστοτόπου τους.

Το αρχείο robots.txt δίνει οδηγίες στα bots των μηχανών αναζήτησης σχετικά με το ποιες σελίδες πρέπει να ακολουθούνται και ποιες όχι (π.χ. δεν θέλετε να ακολουθείται ο πίνακας διαχειριστών σας, καθώς αυτός μπορεί να ευρετηριαστεί στο Google, διευκολύνοντας την παραβίαση κ.λπ...).

Πώς μπορώ να ρυθμίσω το robots.txt;

Μπορείτε είτε να χρησιμοποιήσετε ένα διαδικτυακή γεννήτρια όπως αυτή ή να δημιουργήσετε τη δική σας με την ακόλουθη μορφή:

Ακολουθούν μερικά παραδείγματα του robots.txt σε δράση:

Ξεκινάμε ανεβάζοντας ένα αρχείο Robots.txt στον ριζικό μας κατάλογο, έτσι ώστε να εμφανίζεται εδώ: yourdomain.com/robots.txt

Πώς να αποκλείσετε όλους τους web crawlers από όλο το περιεχόμενο

Πράκτορας χρήστη: *
Απαγόρευση: /

Η χρήση αυτής της σύνταξης στο αρχείο robots.txt θα έλεγε σε όλους τους web crawlers να μην ανιχνεύσουν καμία σελίδα. Πιθανόν να μην θέλετε να χρησιμοποιήσετε αυτή την επιλογή.

Πώς να επιτρέψετε σε όλους τους web crawlers την πρόσβαση στο περιεχόμενό σας

Πράκτορας χρήστη: *
Απαγόρευση:

Η χρήση αυτής της σύνταξης λέει στους ανιχνευτές ιστού να ανιχνεύσουν όλες τις σελίδες στο yourdomain.com, συμπεριλαμβανομένης της αρχικής σελίδας.

Αποκλεισμός ενός συγκεκριμένου web crawler από έναν συγκεκριμένο φάκελο

Πράκτορας χρήστη: Googlebot
Απαγόρευση: /example-subfolder/

Αυτή η σύνταξη λέει μόνο στο πρόγραμμα ανίχνευσης της Google (όνομα πράκτορα χρήστη Googlebot) να μην ανιχνεύσει οποιεσδήποτε σελίδες που περιέχουν τη συμβολοσειρά URL yourdomain.com/example-subfolder/.

Αποκλεισμός ενός συγκεκριμένου web crawler από μια συγκεκριμένη ιστοσελίδα

Πράκτορας χρήστη: Bingbot
Απαγόρευση: /example-subfolder/blocked-page.html

Αυτή η σύνταξη λέει μόνο στο πρόγραμμα ανίχνευσης του Bing (όνομα πράκτορα χρήστη Bing) να αποφύγει την ανίχνευση της συγκεκριμένης σελίδας στη διεύθυνση yourdomain.com/example-subfolder/blocked-page.