Файл robots.txt — один из ключевых элементов технического SEO.
Одна неверная директива может привести к тому, что важные страницы исчезнут из поиска.
Самая частая ошибка — неправильное использование Disallow.
В этой статье разберём, что означает директива Disallow, как она работает,
когда её можно использовать, а когда — категорически нельзя.
🧩 Что такое Disallow в robots.txt
Disallow — это директива файла robots.txt, которая запрещает
поисковым роботам сканировать указанные страницы или разделы сайта.
Важно понимать: Disallow не удаляет страницу из индекса,
он лишь запрещает роботу её обход.
User-agent: *
Disallow: /admin/
В этом примере роботам запрещено сканировать раздел /admin/.
🔍 Как работает директива Disallow
Алгоритм работы простой:
- Поисковый робот заходит на сайт
- Первым делом читает robots.txt
- Сравнивает URL с правилами Disallow
- Если путь запрещён — сканирование не происходит
⚠️ Если страница уже была в индексе ранее, она может
остаться в поиске, но без обновления контента.
🧩 Основные варианты использования Disallow
📁 Закрытие служебных разделов
Disallow: /wp-admin/
Disallow: /login/
Disallow: /cart/
Обязательный минимум для большинства сайтов.
🔎 Закрытие поиска и фильтров
Disallow: /search/
Disallow: /*?filter=
Помогает избежать дублей и мусорных страниц.
📄 Закрытие тестовых страниц
Disallow: /test-page/
Disallow: /dev/
⚠ Частые ошибки при использовании Disallow
❌ Закрыт весь сайт
Disallow: /
Самая критическая ошибка — сайт полностью выпадает из поиска.
❌ Закрытие коммерческих страниц
- каталоги
- карточки услуг
- страницы товаров
Такой Disallow убивает SEO-трафик.
❌ Использование Disallow вместо noindex
Disallow не заменяет noindex.
Если страницу нужно убрать из индекса — используйте meta robots или HTTP-заголовки.
💡 SEO-рекомендации по работе с Disallow
- Используйте Disallow только для технических страниц
- Не закрывайте CSS и JS
- Всегда проверяйте файл в Яндекс.Вебмастер и GSC
- Не используйте Disallow для скрытия данных
- После правок проверяйте индексацию
🎯 Заключение
Disallow — мощный инструмент технического SEO, который помогает
управлять сканированием сайта и избегать дублей.
Но любая ошибка в robots.txt может привести к потере трафика,
поэтому использовать Disallow нужно осознанно и аккуратно.
⚡ SEO-Pulse
Telegram: https://t.me/seo_puls
Сайт: https://seo-pulse.ru
