Άλλη μια χρήσιμη ετικέτα είναι η ετικέτα των ρομπότ (robots.txt). Είναι ένα απλό αρχείο κειμένου txt που δίνει σήμα στις αράχνες των μηχανών αναζήτησης ότι μπορούν να σκανάρουν (ανιχνεύσουν)  το site.
Δηλαδή δίνει το οκ στις μηχανές ότι το site μπορεί και θέλει να ευρετηριαστεί και να καταχωρηθεί στις βάσεις δεδομένων τους.

Δεν δίνει μόνο το οκ για την ανίχνευση του site αλλά και με τις κατάλληλες εντολές μπορεί κάποια σημεία του συστήματος αλλά και του site να απαγορεύσει την ανίχνευση τους.

Οι μηχανές αναζήτησης και κυρίως η Google θέλει περίπου 24 ώρες για να σκανάρει μια σελίδα από την ημέρα που θα δημιουργηθεί ή θα ανανεωθεί. Φυσικά υπάρχουν και τρόποι να καλέσουμε εμείς τα Googlebot σε λιγότερο από μισή ώρα για να δει τις ανανεώσεις της σελίδας μας.

Το αρχείο που δημιουργούμε έχει σταθερή ονομασία για ολόκληρο τον κόσμο και για όποιον τρόπο έχουμε κατασκευάσει το site. Οπότε το robots.txt είναι μια κοινή ετικέτα για όλους όσους έχουν ιστοσελίδα και μάλιστα είναι ένα αρχείο που μπορεί ο καθένας να έχει πρόσβαση σε επίπεδο ανάγνωσης.

Είναι ένα βασικό κομμάτι του on page seo οπότε θέλει και αυτό τον χρόνο του για να φτιαχτεί σωστά. Σας δίνω παρακάτω μερικά παραδείγματα από robots.txt.

“Για να επιτρεψετε σε ολα τα ρομποτ πλήρη προσβαση” variation=”green”
User-agent: *
Disallow:
——————————————————————–

“Για να αποκλεισετε ολα τα ρομποτ απο το συνολο του διακομιστη” variation=”red”
User-agent: *
Disallow: /

——————————————————————–

“Για να αποκλεισετε ολα τα ρομποτ απο τμηματα του διακομιστη” variation=”red”
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

——————————————————————–

 

“Για να επιτρεψετε σε ενα ρομποτ” variation=”green”
User-agent: Google
Disallow:

User-agent: *
Disallow: /

Όταν κατασκευάσετε το αρχείο πρέπει να το τοποθετήσετε στο root του site σας μέσα στον server που σας φιλοξενεί δηλαδή κάνει hosting στην σελίδα σας εκεί που θα βρείτε την σελίδα index.html ή index.php.

Τέλος θα σας πρότεινα επειδή θα διαβάσετε και άλλα άρθρα για το αρχείο robots.txt και θα δείτε ότι πολλοί υποστηρίζουν ότι δεν χρειάζεται η ύπαρξή του γιατί οι πλειοψηφία των μηχανών δεν δίνουν έμφαση και θα σκανάρουν το site σας εσείς να κατασκευάσετε το κατάλληλο αρχείο που χρειάζονται για την σελίδα σας γιατί σίγουρα βαθμολογείτε η δημιουργία του και δεν είναι τυχαίο που όλοι τα webmastertools δίνουν οδηγίες για αυτά.

Για το WordPress Μαθήματα υπάρχουν διάφορα plugin για να κατασκευάσετε ένα αρχείο robots αλλά μπορείτε να χρησιμοποιήσετε τον παρακάτω txt που καλύπτει τις πολύ βασικές ανάγκες για WordPress robots.

“WordPress robots.txt” variation=”orange”

User-agent: *
Allow: /
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /e/
Disallow: /show-error-*
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /comment-page-
Allow: /wp-content/uploads/
 
User-agent: Mediapartners-Google
Allow: /
 
User-agent: Adsbot-Google
Allow: /
 
User-agent: Googlebot-Image
Allow: /
 
User-agent: Googlebot-Mobile
Allow: /
 
# getting sick with the sitemaps
Sitemap: http://www.sitename.com/sitemap.xml

 

Για περισσότερα μπορείτε να δείτε στο
https://support.google.com/webmasters/answer/156449?rd=1.