Τι είναι το αρχείο robots.txt;

Όταν δημιουργείτε τον ιστότοπό σας, πιθανότατα θέλετε να είναι στο Google ή σε άλλες μηχανές αναζήτησης. Οι μηχανές αναζήτησης έχουν τα δικά τους bots ή " crawlers " που περιτριγυρίζουν το διαδίκτυο για να ενημερώσουν για τις τοποθεσίες που υπάρχουν. Αυτά τα bots μπορούν να ελέγχονται στον τρόπο με τον οποίο αλληλεπιδρούν με τον ιστότοπό σας μέσω ενός αρχείου κειμένου. Αυτό είναι το αρχείο robots.txt . Αυτό το αρχείο περιέχει κανόνες στους οποίους καλούνται να ακολουθήσουν τα bots που επισκέπτονται τον ιστότοπό σας. Αυτό μπορεί γενικά να είναι καλό, αλλά μπορεί επίσης να είναι ένα κακό πράγμα για την βαθμολόγησή σας εάν η ρύθμιση είναι λανθασμένη.

Ακολουθούν μερικά παραδείγματα για το τι θα μπορούσε να φαίνεται αυτό το αρχείο για εσάς.

Επιτρέψτε σε όλα τα bots πλήρη πρόσβαση:

User - agent : *
Disallow :


Απαγορεύστε την πρόσβαση σε όλα τα bots:

User-agent: *
Disallow: /

Αυτά είναι μόνο δύο πολύ γενικά πρότυπα για το αρχείο robots.txt. Μπορείτε να το χρησιμοποιήσετε για να αποκλείσετε την πρόσβαση σε ένα μόνο φάκελο ή ακόμα και σε ένα μόνο αρχείο εάν το επιθυμείτε. Κάθε καταχώρηση στο αρχείο robots.txt θα έχει ένα πεδίο User-agent με κάτι δίπλα του. Ο αστερίσκος δείχνει ένα μπαλαντέρ, όπου θα ισχύει για όλους. Αν θέλετε να το ορίσετε για ένα συγκεκριμένο bot, θα το βάλετε σε αυτό το πεδίο. Οποιεσδήποτε γραμμές μετά από αυτό θα ισχύουν για αυτή την συνθήκη που αφορά το bot μέχρι να καθοριστεί μία καινούργια. Για παράδειγμα, στο παρακάτω αρχείο, για το Google θα μπλοκάρει το φάκελο / tmp στον ιστότοπο, αλλά για όλα τα άλλα bots θα επιτρέπονται όλοι οι φάκελοι (συμπεριλαμβανομένου του / tmp).

User-agent: Googlebot
Disallow: /tmp/

User-agent: *
Disallow:

Όπως μπορείτε να δείτε, αυτό μπορεί να χρησιμοποιηθεί για να αποτρέψει τα bots από την ευρετηρίαση ιδιωτικών αρχείων ή ακόμα και περιττών καταλόγων. Μπορείτε να δείτε και εδώ περισσότερα παραδείγματα και χρήσεις.