Почему ChatGPT и Perplexity не видят ваш сайт: четыре места, где прячется блокировка

Сайт открывается, заявки приходят, а ИИ-ассистент говорит, что не может прочитать страницы, или просто не упоминает компанию. Никто в вашей команде такого решения не принимал. Запрет обычно приезжает вместе с переносом на другой хостинг, настройкой CDN или галочкой в конструкторе сайтов, и в браузере его не видно. Разбираем, где он прячется, как его найти и каким роботам стоит открыть дверь.

КОРОТКО

Почему ИИ-ассистенты не видят сайт

Если ChatGPT, Claude или Perplexity не видят ваш сайт, причина обычно лежит в одном из четырёх слоёв: robots.txt, правило файрвола или фильтр по user agent на хостинге, настройка CDN либо контент, который появляется только после запуска JavaScript. Владелец часто об этом не знает, потому что человек с браузером проходит все четыре слоя без помех.

Поэтому такие запреты живут долго. Всё, чем бизнес обычно проверяет сайт, от открытия главной страницы до тестовой заявки, показывает норму. Робот получает с того же адреса другой ответ, и этот ответ никто не читает, пока специально его не поищет.

Мы видели это на практике. На одном из недавних проектов после переезда на новый хостинг-аккаунт GPTBot и роботы Meta стали получать ошибку 403, а хостинг сам дописал их в robots.txt. Внешне на сайте ничего не изменилось.

Google относит это к базовым условиям появления в AI Overviews и AI Mode: сканирование должно быть разрешено и в robots.txt, и на любом CDN или хостинге перед сайтом. Для других ассистентов логика та же, с одним отличием. Google и Bing сообщают о проблемах через свои кабинеты для вебмастеров, а по большинству ИИ-роботов единственный отчёт, который у вас будет, это ваши собственные логи.

Человек с браузером проходит все проверки, на которых застревает робот.

ТРИ ЗАДАЧИ

Обучение, поиск и запросы пользователя

Прежде чем что-то открывать или закрывать, разделите ИИ-трафик на три вида. За ними стоят разные боты, хотя в большинстве советов из интернета они смешаны в одно.

• Роботы для обучения собирают страницы, которые могут пойти на обучение будущих моделей.
• Поисковые роботы строят индекс, по которому ассистент потом отвечает.
• Запросы от пользователя открывают страницу в ту минуту, когда о ней спросили, например если человек вставил вашу ссылку в чат.

Вот как разделяют их сами разработчики, по их документации на ноябрь 2026 года:

Практический вывод серьёзный. OpenAI прямо пишет, что настройки независимы: можно запретить GPTBot, чтобы контент не шёл на обучение, и оставить OAI-SearchBot, чтобы появляться в поисковых ответах ChatGPT. Сайт, закрывший OAI-SearchBot, в этих ответах показываться не будет, за исключением навигационных ссылок. У Anthropic формулировка мягче, а смысл тот же: блокировка Claude-SearchBot или Claude-User может снизить видимость в её поисковых результатах.

У Google устроено иначе. Google-Extended это токен в robots.txt без собственного робота, и, по словам Google, на попадание в Поиск он не влияет и фактором ранжирования не является. AI Overviews и AI Mode опираются на обычный индекс Поиска, поэтому здесь важен Googlebot: закрыв его, вы теряете и классическую выдачу, и ИИ-ответы.

В самой популярной быстрой проверке тоже есть ловушка. Если вставить адрес в ChatGPT, сработает только ChatGPT-User. Про OAI-SearchBot это ничего не говорит, а вежливый ответ ассистента может опираться на старый индекс, а не на живую страницу.

СЛОЙ 1

robots.txt, который написал кто-то другой

robots.txt стоит смотреть первым, и на нём люди чаще всего останавливаются слишком рано. Подвоха здесь три.

Файл может оказаться не вашим. Хостинг из нашей истории сам дописал туда ИИ-роботов. Управляемая опция Cloudflare ставит свои директивы перед вашим содержимым и создаёт файл, если его нет. В Squarespace есть галочка Block known artificial intelligence crawlers, которая добавляет в robots.txt список с GPTBot, ClaudeBot и Meta-ExternalAgent. Поэтому читайте живой адрес в браузере, https://example.ae/robots.txt, а не копию в репозитории и не то, что помнит разработчик.

У каждого хоста свой файл. Стандарт RFC 9309 требует размещать robots.txt на верхнем уровне каждого сервиса, а Anthropic напоминает, что правила нужно повторять для каждого поддомена. Если арабская версия живёт на ar.example.ae, а магазин на shop.example.ae, у них могут быть правила, которых нет на основном домене.

Сам код ответа файла тоже сигнал. По RFC 9309, если robots.txt отвечает кодом 4xx, робот вправе считать сайт открытым, а при коде 5xx обязан считать закрытым целиком. Google действует похоже: при 5xx он прекращает сканирование на первые 12 часов, затем до 30 дней работает по последней исправной копии. Значит, неправильно настроенный сервер способен закрыть сайт без единой строки Disallow.

Читая файл, ищите группу с именем бота, например User-agent: GPTBot и затем Disallow: /, а также общее User-agent: * с Disallow: /, которое часто остаётся от тестовой среды. После исправления учитывайте кеш: OpenAI, Perplexity и Meta называют примерно 24 часа до вступления изменений в силу, и сам стандарт говорит, что дольше этого срока кешированную копию использовать не следует.

И ещё одно ограничение. RFC прямо указывает, что эти правила не являются разрешением на доступ. Робот, который их уважает, не зайдёт; тот, который не уважает, зайдёт, а запросы от пользователя из таблицы выше могут вообще не читать этот файл.

СЛОЙ 2

Файрвол и фильтры на хостинге

Этот слой бизнесу увидеть сложнее всего. Веб-сервер или модуль безопасности перед приложением смотрит на заголовок User-Agent или IP-адрес и отказывает ещё до запуска вашего кода. В логах приложения чисто, CMS ничего не показывает, и robots.txt при этом может быть полностью открыт.

Вот как это выглядит на нашем собственном сайте. Примерно с 22 октября 2026 года наш хостинг отвечает 403 на user agent HeadlessChrome и на Bytespider, робота ByteDance, а Googlebot, Bingbot и важные для нас ИИ-роботы получают 200. Bytespider мы не пускаем намеренно. Отказ выглядит как страница ошибки nginx, то есть приходит с уровня сервера и до нашего приложения на Laravel не доходит.

Половина этого правила про HeadlessChrome показала нам, как далеко расходятся последствия. PageSpeed начал падать на каждой странице сайта с сообщением Browser tab has unexpectedly crashed. Причину мы нашли, публикуя статические копии статьи и убирая из них части по одной, пока сбой не исчез. Сервис-воркер сайта регистрировался при загрузке страницы, его скрипт запрашивался с user agent самого тестового браузера, и хостинг такой запрос отклонял. Ни одно звено этой цепочки не упоминало ИИ или роботов. Подробности в статье 3D на живом сайте: наш эксперимент с three.js и что увидел Google. Любой агент или инструмент тестирования, который представляется так же, получит тот же 403.

Правило против одного бота может сломать инструмент, о котором никто не думал.

Цена ошибочного правила намного выше потери ИИ-видимости. Если под него попадёт Googlebot, Google воспримет 403 как любую клиентскую ошибку: сочтёт, что контента нет, и уберёт уже проиндексированный адрес из индекса. Код 429, напротив, читается как перегрузка: сканирование замедляется, а адрес какое-то время остаётся в индексе. Если нужно притормозить бота, 429 честнее, а использовать для этого 401 или 403 Google прямо не советует.

Когда под подозрением хостинг, спросите поддержку письменно: какие правила по user agent и IP действуют для вашего аккаунта, какие добавлены по умолчанию и могут ли они меняться без предупреждения. Классический момент для такой ошибки это переезд, и проверка роботов стоит в одном списке с DNS и почтовыми записями, как в нашем материале Чек-лист миграции сайта, который пропускают большинство агентств. Защита от ботов остановила и нашего агента в тесте Мы отправили ИИ-агента за покупками в 15 американских интернет-магазинов: robots.txt оказался там меньшей проблемой.

СЛОЙ 3

Настройки CDN, которые всё время меняются

CDN или облачный файрвол стоит перед хостингом, поэтому его решения в логи вашего сервера не попадают. Чаще всего владельцы спрашивают про Cloudflare, а его настройки по умолчанию менялись так, что любое утверждение по памяти рискованно. Вот что написано на его собственных страницах, по порядку:

Две последние записи не совпадают, и снаружи мы не можем сказать, какая из них описывает ваш аккаунт. В любом случае настройка принадлежит вашей зоне и её можно прочитать: в панели Cloudflare это Security, затем Settings, фильтр Bot traffic, пункт AI Crawler and Agent access policies. Там важны две детали. Agent это как раз запросы из чатов, поэтому блокировка в этой строке бьёт по визитам в стиле ChatGPT. А действие для Training касается и многоцелевых роботов, совмещающих поиск и обучение, так что решение, похожее на защиту авторских прав, может задеть видимость в поиске.

Отдельно работает Bot Fight Mode на бесплатном тарифе: он выставляет проверки трафику, похожему на ботов, и Cloudflare пишет, что обойти его правилами WAF нельзя. Документация Perplexity предупреждает именно об этом: чтобы пропустить её ботов, нужно правило по user agent и диапазону IP выше блокирующих правил, но через Bot Fight Mode такое правило не пройдёт.

На других платформах свои переключатели. Набор AI Bots у Vercel по умолчанию выключен и позволяет запрещать AI Crawlers и AI Assistants по отдельности. Что бы ни стояло перед вашим сайтом, вопрос один: кто это включил и какую из трёх задач это останавливает? На сложной инфраструктуре такая проверка входит в работу DevOps и облачная инфраструктура, от $50 до $70 в час.

СЛОЙ 4

Контент, который рисует только JavaScript

Четвёртый слой всем отвечает 200, и робот всё равно уходит ни с чем. Если цены, услуги или текст статьи появляются только после выполнения скриптов в браузере, первый HTML-ответ оказывается пустой оболочкой.

Исследование Vercel за декабрь 2024 года показало, что крупные ИИ-роботы, включая GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Meta-ExternalAgent и Bytespider, JavaScript не выполняли. Роботы ChatGPT и Claude скачивали файлы скриптов, но не запускали их. Исключениями были Gemini, который использует инфраструктуру Googlebot, и AppleBot. Этому исследованию почти два года, а роботов обновляют, поэтому проверяйте свои страницы. Безопасное правило остаётся прежним: проектировать так, будто роботу достаётся только исходный HTML.

На нашей главной стоит 3D-экран, и для этого слоя она хороший тест. Без браузера 2 ноября 2026 года она отдала около 182 КБ HTML, где H1 и его текст на месте. Сцена лишь украшает настоящий текст, причины этого выбора описаны в статье про three.js.

Родственная проблема это контент за слоем: всплывающие окна и встроенные фреймы могут оставить для программы очень мало читаемого текста, что мы зафиксировали в тесте с агентом.

ПРОВЕРКА

Как проверить все четыре слоя

При доступе к логам первый проход занимает примерно час, это наша оценка. Порядок идёт от самой дешёвой проверки к самой надёжной.

1. Прочитайте живой robots.txt на основном домене и на всех важных поддоменах.
2. Запросите свой сайт с указанным user agent и сравните код ответа с обычным браузером (первая команда ниже). Только свой сайт: отправляя имя робота на чужой сервер, вы выдаёте себя за другого.
3. Прочитайте логи сервера и посчитайте, какие ответы получил каждый ИИ-робот (вторая команда ниже).
4. Проверьте IP-адреса. User agent это лишь заявление. OpenAI, Anthropic и Perplexity публикуют списки своих диапазонов в JSON, Bing публикует такой список для Bingbot, а Google описывает обратный DNS-запрос. Запрос от имени GPTBot с адреса вне списка отправил кто-то другой.
5. Откройте панель CDN. AI Crawl Control в Cloudflare показывает активность по роботам и кодам ответа; на бесплатных тарифах вкладка Metrics охватывает последние 24 часа.
6. Сравните исходный HTML со страницей. Загрузите страницу через curl или откройте её исходный код и поищите фразу и цену, которые должны там быть.
7. Спросите поисковые системы. Проверка URL в Google запускает живой тест, показывает исходный HTML и то, разрешает ли сканирование robots.txt. У Bing в URL Inspection для этого есть Live Check, а отчёт AI Performance, в публичном превью с февраля 2026 года, показывает цитирования в Copilot и ИИ-сводках Bing.

Две команды для типичного сервера. В распространённом формате логов combined код ответа стоит девятым полем.

curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" https://example.ae/

grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|meta-" access.log | awk '{print $9}' | sort | uniq -c

У проверки через curl есть реальный предел. Она затрагивает только правила по user agent и идёт с вашего IP. Файрвол, который смотрит на диапазон адресов или репутацию, может обойтись с настоящим роботом иначе, в любую сторону, поэтому точку ставят только логи с настоящих адресов роботов.

Вот наш собственный результат от 2 ноября 2026 года: запрос главной страницы через curl.

Затем сверьте результаты с этой таблицей:

Последняя строка самая честная. Открытая дверь сама по себе цитирования не приносит. Что его приносит, мы разбирали в статьях SEO, AEO и GEO в 2026 году и Что такое AEO?, а постоянная работа над этим относится к услуге Продвижение сайтов, от $1 500 в месяц.

ОТКРЫТЬ ИЛИ ЗАКРЫТЬ

Что открыть, а что оставить закрытым

Правильные правила зависят от того, как зарабатывает бизнес. Магазину нужно, чтобы читали товары и не трогали корзины. Компания, которая продаёт свои исследования, может захотеть поиск и запросы от пользователей, но без обучения. Это решение владельца, и оно должно быть записано, а не появляться как побочный эффект настроек хостинга.

Часть разделов закрыта для всех ботов всегда: админка, личные кабинеты, корзины и оформление заказа, тестовые копии и всё, где лежат персональные данные. robots.txt с этой задачей не справится: он лишь просьба, а секретный адрес в публичном файле сам себя рекламирует. Таким разделам нужен логин или правило на сервере. Временные копии сайта мы закрываем на уровне сервера и наполняем обезличенными данными, чтобы забредший робот не нашёл ничего настоящего. Есть и юридическая сторона: Федеральный декрет-закон ОАЭ № 45 от 2021 года о защите персональных данных распространяется на данные, которые обрабатываются электронно, как внутри страны, так и за её пределами.

Если беспокоит нагрузка, а не права, начните с мягких средств. Anthropic поддерживает нестандартную директиву Crawl-delay. Блокировать её ботов по IP компания не советует: заблокированный бот не прочитает robots.txt, где и записан отказ.

Что касается llms.txt, для своего сайта мы генерируем его каждую ночь. Это по-прежнему предложение, опубликованное в сентябре 2024 года, а Google пишет, что для его ИИ-функций никакие новые текстовые файлы не нужны. Считайте llms.txt сводкой для агентов, но не заменой описанным выше проверкам.

ДЕРЖАТЬ ОТКРЫТЫМ

Сделайте проверку частью регламента

Запрет появляется после какого-то события, поэтому привяжите проверку к событиям: переезд на другой хостинг, новый тариф CDN или файрвола, плагин безопасности, обновление фреймворка, редизайн, который уводит контент в скрипты. И повторяйте её по расписанию, потому что настройки по умолчанию меняются без вашего участия.

Письменное решение помогает больше любого инструмента. В файле нашего проекта AGENTS.md есть правило, что ИИ-роботов никогда не блокируем, с их именами и пометкой, что блокировка Bytespider намеренная. Каждый разработчик или ИИ-агент для написания кода, открывая проект, должен прочитать это, прежде чем что-либо менять. При передаче проекта клиент получает AGENTS.md вместе с кодом, командами развёртывания и порядком отката, они передаются вам по договору, поэтому такие правила остаются у бизнеса и не уходят вместе с тем, кто их настроил.

В услуге Поддержка и обслуживание сайтов, от $1 000 в месяц, стартовый аудит включает доступ роботов, а каждое обновление заканчивается настоящей тестовой заявкой и тремя проверками вне кода: аутентификация почты, robots.txt и то, какие роботы могут дойти до сайта. Цены на всё это собраны на странице цен.

Доступ роботов мы рассматриваем так же, как остальную систему: как часть, которая строится под задачи конкретного бизнеса, а не как чьё-то унаследованное значение по умолчанию.

Настройки меняются без вас. Решение должно оставаться вашим и письменным.

FAQ

Источники

• OpenAI: обзор роботов OpenAI
• Anthropic: как сканирует веб и как владельцам сайтов заблокировать робота
• Perplexity: роботы Perplexity
• Google: функции ИИ и ваш сайт
• Блог Cloudflare: Content Independence Day, 1 июля 2025 года