Чому ChatGPT і Perplexity не бачать ваш сайт: чотири місця, де ховається блокування

Сайт відкривається, заявки надходять, а ШІ-асистент каже, що не може прочитати сторінки, або просто не згадує компанію. Ніхто у вашій команді такого рішення не ухвалював. Заборона зазвичай приїжджає разом із переїздом на інший хостинг, налаштуванням CDN або галочкою в конструкторі сайтів, і в браузері її не видно. Розбираємо, де вона ховається, як її знайти і яким роботам варто відчинити двері.

КОРОТКО

Чому ШІ-асистенти не бачать сайт

Якщо ChatGPT, Claude або Perplexity не бачать ваш сайт, причина зазвичай лежить в одному з чотирьох шарів: robots.txt, правило файрвола чи фільтр за user agent на хостингу, налаштування CDN або контент, який з'являється лише після запуску JavaScript. Власник часто про це не знає, бо людина з браузером проходить усі чотири шари без перешкод.

Тому такі заборони живуть довго. Усе, чим бізнес зазвичай перевіряє сайт, від відкриття головної сторінки до тестової заявки, показує норму. Робот отримує з тієї самої адреси іншу відповідь, і цю відповідь ніхто не читає, доки спеціально її не пошукає.

Ми бачили це на практиці. На одному з недавніх проєктів після переїзду на новий хостинг-акаунт GPTBot і роботи Meta почали отримувати помилку 403, а хостинг сам дописав їх у robots.txt. Зовні на сайті нічого не змінилося.

Google відносить це до базових умов появи в AI Overviews і AI Mode: сканування має бути дозволене і в robots.txt, і на будь-якому CDN чи хостингу перед сайтом. Для інших асистентів логіка та сама, з однією відмінністю. Google і Bing повідомляють про проблеми через свої кабінети для вебмайстрів, а щодо більшості ШІ-роботів єдиний звіт, який у вас буде, це ваші власні логи.

Людина з браузером проходить усі перевірки, на яких застрягає робот.

ТРИ ЗАВДАННЯ

Навчання, пошук і запити користувача

Перш ніж щось відкривати чи закривати, розділіть ШІ-трафік на три види. За ними стоять різні боти, хоча в більшості порад з інтернету вони змішані в одне.

• Роботи для навчання збирають сторінки, які можуть піти на навчання майбутніх моделей.
• Пошукові роботи будують індекс, за яким асистент потім відповідає.
• Запити від користувача відкривають сторінку тієї хвилини, коли про неї запитали, наприклад якщо людина вставила ваше посилання в чат.

Ось як розділяють їх самі розробники, за їхньою документацією на листопад 2026 року:

Практичний висновок серйозний. OpenAI прямо пише, що налаштування незалежні: можна заборонити GPTBot, щоб контент не йшов на навчання, і залишити OAI-SearchBot, щоб з'являтися в пошукових відповідях ChatGPT. Сайт, який закрив OAI-SearchBot, у цих відповідях показуватися не буде, за винятком навігаційних посилань. В Anthropic формулювання м'якше, а зміст той самий: блокування Claude-SearchBot або Claude-User може знизити видимість у її пошукових результатах.

У Google влаштовано інакше. Google-Extended це токен у robots.txt без власного робота, і, за словами Google, на потрапляння в Пошук він не впливає та фактором ранжування не є. AI Overviews і AI Mode спираються на звичайний індекс Пошуку, тому тут важливий Googlebot: закривши його, ви втрачаєте і класичну видачу, і ШІ-відповіді.

У найпопулярнішій швидкій перевірці теж є пастка. Якщо вставити адресу в ChatGPT, спрацює лише ChatGPT-User. Про OAI-SearchBot це нічого не каже, а ввічлива відповідь асистента може спиратися на старий індекс, а не на живу сторінку.

ШАР 1

robots.txt, який написав хтось інший

robots.txt варто дивитися першим, і на ньому люди найчастіше зупиняються зарано. Підступів тут три.

Файл може виявитися не вашим. Хостинг із нашої історії сам дописав туди ШІ-роботів. Керована опція Cloudflare ставить свої директиви перед вашим вмістом і створює файл, якщо його немає. У Squarespace є галочка Block known artificial intelligence crawlers, яка додає до robots.txt список із GPTBot, ClaudeBot і Meta-ExternalAgent. Тому читайте живу адресу в браузері, https://example.com.ua/robots.txt, а не копію в репозиторії і не те, що пам'ятає розробник.

У кожного хоста свій файл. Стандарт RFC 9309 вимагає розміщувати robots.txt на верхньому рівні кожного сервісу, а Anthropic нагадує, що правила треба повторювати для кожного піддомену. Якщо магазин живе на shop.example.com.ua, а блог на окремому хості, у них можуть бути правила, яких немає на основному домені.

Сам код відповіді файлу теж сигнал. За RFC 9309, якщо robots.txt відповідає кодом 4xx, робот має право вважати сайт відкритим, а за коду 5xx зобов'язаний вважати закритим цілком. Google діє схоже: за 5xx він припиняє сканування на перші 12 годин, потім до 30 днів працює за останньою справною копією. Отже, неправильно налаштований сервер здатен закрити сайт без жодного рядка Disallow.

Читаючи файл, шукайте групу з іменем бота, наприклад User-agent: GPTBot і далі Disallow: /, а також загальне User-agent: * з Disallow: /, яке часто залишається від тестового середовища. Після виправлення враховуйте кеш: OpenAI, Perplexity і Meta називають приблизно 24 години до набрання змінами чинності, і сам стандарт каже, що довше за цей строк кешовану копію використовувати не слід.

І ще одне обмеження. RFC прямо вказує, що ці правила не є дозволом на доступ. Робот, який їх поважає, не зайде; той, який не поважає, зайде, а запити від користувача з таблиці вище можуть узагалі не читати цей файл.

ШАР 2

Файрвол і фільтри на хостингу

Цей шар бізнесу побачити найскладніше. Вебсервер або модуль безпеки перед застосунком дивиться на заголовок User-Agent чи IP-адресу і відмовляє ще до запуску вашого коду. У логах застосунку чисто, CMS нічого не показує, а robots.txt при цьому може бути повністю відкритий.

Ось як це виглядає на нашому власному сайті. Приблизно з 22 жовтня 2026 року наш хостинг відповідає 403 на user agent HeadlessChrome і на Bytespider, робота ByteDance, а Googlebot, Bingbot і важливі для нас ШІ-роботи отримують 200. Bytespider ми не пускаємо навмисно. Відмова виглядає як сторінка помилки nginx, тобто приходить з рівня сервера і до нашого застосунку на Laravel не доходить.

Половина цього правила про HeadlessChrome показала нам, як далеко розходяться наслідки. PageSpeed почав падати на кожній сторінці сайту з повідомленням Browser tab has unexpectedly crashed. Причину ми знайшли, публікуючи статичні копії статті та прибираючи з них частини по одній, доки збій не зник. Сервіс-воркер сайту реєструвався під час завантаження сторінки, його скрипт запитувався з user agent самого тестового браузера, і хостинг такий запит відхиляв. Жодна ланка цього ланцюжка не згадувала ШІ чи роботів. Подробиці у статті 3D на живому сайті: наш експеримент із three.js і що побачив Google. Будь-який агент чи інструмент тестування, що представляється так само, отримає той самий 403.

Правило проти одного бота може зламати інструмент, про який ніхто не думав.

Ціна помилкового правила набагато вища за втрату ШІ-видимості. Якщо під нього потрапить Googlebot, Google сприйме 403 як будь-яку клієнтську помилку: вважатиме, що контенту немає, і прибере вже проіндексовану адресу з індексу. Код 429, навпаки, читається як перевантаження: сканування сповільнюється, а адреса якийсь час лишається в індексі. Якщо треба пригальмувати бота, 429 чесніший, а використовувати для цього 401 чи 403 Google прямо не радить.

Коли під підозрою хостинг, запитайте підтримку письмово: які правила за user agent та IP діють для вашого акаунта, які додано за замовчуванням і чи можуть вони змінюватися без попередження. Класичний момент для такої помилки це переїзд, і перевірка роботів стоїть в одному списку з DNS і поштовими записами, як у нашому матеріалі Чек-лист міграції сайту, який пропускають більшість агенцій. Захист від ботів зупинив і нашого агента в тесті Ми відправили ШІ-агента по покупки в 15 американських інтернет-магазинів: robots.txt виявився там меншою проблемою.

ШАР 3

Налаштування CDN, які весь час змінюються

CDN або хмарний файрвол стоїть перед хостингом, тому його рішення в логи вашого сервера не потрапляють. Найчастіше власники запитують про Cloudflare, а його налаштування за замовчуванням змінювалися так, що будь-яке твердження з пам'яті ризиковане. Ось що написано на його власних сторінках, за порядком:

Два останні записи не збігаються, і ззовні ми не можемо сказати, який із них описує ваш акаунт. У будь-якому разі налаштування належить вашій зоні і його можна прочитати: у панелі Cloudflare це Security, далі Settings, фільтр Bot traffic, пункт AI Crawler and Agent access policies. Там важливі дві деталі. Agent це якраз запити з чатів, тому блокування в цьому рядку б'є по візитах у стилі ChatGPT. А дія для Training стосується і багатоцільових роботів, що поєднують пошук і навчання, тож рішення, схоже на захист авторських прав, може зачепити видимість у пошуку.

Окремо працює Bot Fight Mode на безплатному тарифі: він виставляє перевірки трафіку, схожому на ботів, і Cloudflare пише, що обійти його правилами WAF не можна. Документація Perplexity попереджає саме про це: щоб пропустити її ботів, потрібне правило за user agent і діапазоном IP вище за блокувальні правила, але через Bot Fight Mode таке правило не пройде.

На інших платформах свої перемикачі. Набір AI Bots у Vercel за замовчуванням вимкнений і дає змогу забороняти AI Crawlers і AI Assistants окремо. Що б не стояло перед вашим сайтом, питання одне: хто це ввімкнув і яке з трьох завдань це зупиняє? На складній інфраструктурі така перевірка входить у роботу DevOps і хмарна інфраструктура, від $50 до $70 на годину.

ШАР 4

Контент, який малює лише JavaScript

Четвертий шар усім відповідає 200, і робот однаково йде ні з чим. Якщо ціни, послуги чи текст статті з'являються лише після виконання скриптів у браузері, перша HTML-відповідь виявляється порожньою оболонкою.

Дослідження Vercel за грудень 2024 року показало, що великі ШІ-роботи, серед них GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Meta-ExternalAgent і Bytespider, JavaScript не виконували. Роботи ChatGPT і Claude завантажували файли скриптів, але не запускали їх. Винятками були Gemini, який використовує інфраструктуру Googlebot, і AppleBot. Цьому дослідженню майже два роки, а роботів оновлюють, тому перевіряйте свої сторінки. Безпечне правило лишається тим самим: проєктувати так, ніби роботу дістається лише вихідний HTML.

На нашій головній стоїть 3D-екран, і для цього шару вона добрий тест. Без браузера 2 листопада 2026 року вона віддала близько 182 КБ HTML, де H1 і його текст на місці. Сцена лише прикрашає справжній текст, причини цього вибору описані у статті про three.js.

Споріднена проблема це контент за шаром: спливаючі вікна та вбудовані фрейми можуть залишити для програми дуже мало читабельного тексту, що ми зафіксували в тесті з агентом.

ПЕРЕВІРКА

Як перевірити всі чотири шари

Якщо є доступ до логів, перший прохід займає приблизно годину, це наша оцінка. Порядок іде від найдешевшої перевірки до найнадійнішої.

1. Прочитайте живий robots.txt на основному домені та на всіх важливих піддоменах.
2. Запитайте свій сайт із зазначеним user agent і порівняйте код відповіді зі звичайним браузером (перша команда нижче). Лише свій сайт: надсилаючи ім'я робота на чужий сервер, ви видаєте себе за іншого.
3. Прочитайте логи сервера і порахуйте, які відповіді отримав кожен ШІ-робот (друга команда нижче).
4. Перевірте IP-адреси. User agent це лише заява. OpenAI, Anthropic і Perplexity публікують списки своїх діапазонів у JSON, Bing публікує такий список для Bingbot, а Google описує зворотний DNS-запит. Запит від імені GPTBot з адреси поза списком надіслав хтось інший.
5. Відкрийте панель CDN. AI Crawl Control у Cloudflare показує активність за роботами та кодами відповіді; на безплатних тарифах вкладка Metrics охоплює останні 24 години.
6. Порівняйте вихідний HTML зі сторінкою. Завантажте сторінку через curl або відкрийте її вихідний код і пошукайте фразу та ціну, які мають там бути.
7. Запитайте пошукові системи. Перевірка URL у Google запускає живий тест, показує вихідний HTML і те, чи дозволяє сканування robots.txt. У Bing в URL Inspection для цього є Live Check, а звіт AI Performance, у публічному прев'ю з лютого 2026 року, показує цитування в Copilot і ШІ-зведеннях Bing.

Дві команди для типового сервера. У поширеному форматі логів combined код відповіді стоїть дев'ятим полем.

curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" https://example.com.ua/

grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|meta-" access.log | awk '{print $9}' | sort | uniq -c

У перевірки через curl є реальна межа. Вона зачіпає лише правила за user agent і йде з вашої IP-адреси. Файрвол, який дивиться на діапазон адрес або репутацію, може обійтися зі справжнім роботом інакше, в будь-який бік, тому крапку ставлять лише логи зі справжніх адрес роботів.

Ось наш власний результат від 2 листопада 2026 року: запит головної сторінки через curl.

Потім звірте результати з цією таблицею:

Останній рядок найчесніший. Відчинені двері самі по собі цитування не приносять. Що його приносить, ми розбирали у статтях SEO, AEO і GEO у 2026 році та Що таке AEO?, а постійна робота над цим належить до послуги Просування сайтів, від $1 500 на місяць.

ВІДКРИТИ ЧИ ЗАКРИТИ

Що відкрити, а що залишити закритим

Правильні правила залежать від того, як заробляє бізнес. Магазину потрібно, щоб читали товари й не чіпали кошики. Компанія, яка продає свої дослідження, може захотіти пошук і запити від користувачів, але без навчання. Це рішення власника, і воно має бути записане, а не з'являтися як побічний ефект налаштувань хостингу.

Частина розділів закрита для всіх ботів завжди: адмінка, особисті кабінети, кошики та оформлення замовлення, тестові копії і все, де лежать персональні дані. robots.txt із цим завданням не впорається: він лише прохання, а секретна адреса в публічному файлі сама себе рекламує. Таким розділам потрібен логін або правило на сервері. Тимчасові копії сайту ми закриваємо на рівні сервера й наповнюємо знеособленими даними, щоб робот, який забрів туди, не знайшов нічого справжнього. Є й юридичний бік: в Україні обробку персональних даних регулює Закон «Про захист персональних даних» № 2297-VI, а нагляд за його дотриманням здійснює Уповноважений Верховної Ради з прав людини.

Якщо турбує навантаження, а не права, почніть із м'яких засобів. Anthropic підтримує нестандартну директиву Crawl-delay. Блокувати її ботів за IP компанія не радить: заблокований бот не прочитає robots.txt, де й записана відмова.

Щодо llms.txt, для свого сайту ми генеруємо його щоночі. Це досі пропозиція, опублікована у вересні 2024 року, а Google пише, що для його ШІ-функцій жодні нові текстові файли не потрібні. Вважайте llms.txt зведенням для агентів, але не заміною описаним вище перевіркам.

ТРИМАТИ ВІДКРИТИМ

Зробіть перевірку частиною регламенту

Заборона з'являється після якоїсь події, тому прив'яжіть перевірку до подій: переїзд на інший хостинг, новий тариф CDN або файрвола, плагін безпеки, оновлення фреймворка, редизайн, який переносить контент у скрипти. І повторюйте її за розкладом, бо налаштування за замовчуванням змінюються без вашої участі.

Письмове рішення допомагає більше за будь-який інструмент. У файлі нашого проєкту AGENTS.md є правило, що ШІ-роботів ніколи не блокуємо, з їхніми іменами та позначкою, що блокування Bytespider навмисне. Кожен розробник чи ШІ-агент для написання коду, відкриваючи проєкт, має прочитати це, перш ніж щось змінювати. Під час передавання проєкту клієнт отримує AGENTS.md разом із кодом, командами розгортання і порядком відкату, вони передаються вам за договором, тому такі правила лишаються в бізнесу і не йдуть разом із тим, хто їх налаштував.

У послузі Підтримка та обслуговування сайтів, від $1 000 на місяць, стартовий аудит охоплює доступ роботів, а кожне оновлення закінчується справжньою тестовою заявкою і трьома перевірками поза кодом: автентифікація пошти, robots.txt і те, які роботи можуть дійти до сайту. Ціни на все це зібрані на сторінці цін.

Доступ роботів ми розглядаємо так само, як решту системи: як частину, що будується під завдання конкретного бізнесу, а не як чиєсь успадковане значення за замовчуванням.

Налаштування змінюються без вас. Рішення має лишатися вашим і письмовим.

FAQ

Джерела

• OpenAI: огляд роботів OpenAI
• Anthropic: як сканує веб і як власникам сайтів заблокувати робота
• Perplexity: роботи Perplexity
• Google: функції ШІ та ваш сайт
• Блог Cloudflare: Content Independence Day, 1 липня 2025 року