Генератор robots.txt

Простой генератор robots.txt, который поможет вам управлять сканированием поисковыми системами, с готовыми к копированию правилами за считанные секунды.

General Settings
Установите глобальные правила для всех ботов. «Разрешить все» — стандартный вариант. «Отказать всем» блокирует доступ к вашему сайту из интернета (используйте с осторожностью!).
Search Engines
Контролируйте конкретные поисковые системы. Если выбрано значение «Разрешено глобально», установите здесь значение «Отклонить», чтобы заблокировать отдельные системы, например Baidu или Yandex, если вы не продаете товары в этих системах.
AI & Marketing Bots
Запретите парсерам ИИ (например, ChatGPT) использовать ваш контент для обучения или заблокируйте инструменты для SEO-анализа конкурентов (Ahrefs/Semrush) от анализа ваших данных.
Restricted Directories
Скрыть определенные папки. Shopify автоматически обрабатывает системные папки, но здесь можно добавить собственные.

Ready to deploy

robots.txt
User-agent: * Allow: /