Γεννήτρια Robots.txt

Ένας απλός γεννήτορας αρχείων robots.txt που σας βοηθά να ελέγχετε τι ανιχνεύουν οι μηχανές αναζήτησης, με έτοιμους προς αντιγραφή κανόνες σε δευτερόλεπτα.

General Settings
Ορίστε καθολικούς κανόνες για όλα τα bot. Η επιλογή «Να επιτρέπονται όλα» είναι στάνταρ. Η επιλογή «Απόρριψη όλων» εμποδίζει ολόκληρο το διαδίκτυο να δει τον ιστότοπό σας (Χρησιμοποιήστε με προσοχή!).
Search Engines
Ελέγξτε συγκεκριμένες μηχανές αναζήτησης. Εάν επιτρέπεται η επιλογή Global, χρησιμοποιήστε την επιλογή "Απόρριψη" εδώ για να αποκλείσετε συγκεκριμένες μηχανές αναζήτησης όπως η Baidu ή η Yandex, εάν δεν πουλάτε εκεί.
AI & Marketing Bots
Αποκλείστε τα εργαλεία τεχνητής νοημοσύνης (AI scrapers) από το να χρησιμοποιούν το περιεχόμενό σας για εκπαίδευση ή αποκλείστε τα εργαλεία SEO των ανταγωνιστών (Ahrefs/Semrush) από το να αναλύουν τα δεδομένα σας.
Restricted Directories
Απόκρυψη συγκεκριμένων φακέλων. Το Shopify χειρίζεται αυτόματα φακέλους συστήματος, αλλά μπορείτε να προσθέσετε προσαρμοσμένους εδώ.

Ready to deploy

robots.txt
User-agent: * Allow: /