Аудит индексации в Google: страницы, которые продают, оказались невидимы

Search Console перестал показывать актуальную картину, и мы проверили каждую страницу сами: блог Google знал, а страницы, которые продают, по большей части нет. Что нашли, что изменили и как это повторить.

Несколько недель отчёт «Индексирование страниц» в нашем Search Console не отражал того, что происходило на сайте. Мы публиковали новые статьи, переписывали страницы услуг, исправляли canonical, а отчёт показывал всё ту же картину со старой датой. Что происходило на стороне Google, мы сказать не можем, знаем только одно: отчёт перестал описывать наш сайт. Об этом мы писали в статье Google Search Console: отчёт об индексировании страниц не обновляется. Здесь речь о том, что мы сделали дальше.

Ждать мы не стали. Вместе с ИИ-агентом, который пишет код, мы собрали собственный аудит: каждый адрес сайта сверили с тем, что о нём говорит Google, и положили рядом технический обход и поисковые данные. Сначала проверили всё на своём сайте, как делаем с любым инструментом, прежде чем он попадёт к клиенту. Наши статьи Google знал хорошо, а страницы услуг, где читатель становится заявкой, по большей части не видел вообще.

Дальше расскажем, что мы нашли, что изменили, какая небольшая консоль из этого выросла, а в конце покажем, как настроить такой же аудит для своего сайта. Автор статьи Peretz Group: в этом проекте это основатель, наши инженеры и Claude, ИИ, с которым мы работаем. Свои цифры мы намеренно округляем, потому что ценность здесь в методе.

Проблема

Отчёт перестал двигаться

Search Console остаётся главным окном бизнеса в Google, и не зря: это собственные данные Google. Но окно это рассчитано на итоговые цифры. Отчёт «Индексирование страниц» считает страницы по причинам («Страница просканирована, но пока не проиндексирована», «Обнаружена, не проиндексирована») и для каждой показывает выборку примеров. Когда отчёт перестаёт совпадать с сайтом или его итоги расходятся с тем, что видно в поиске, на руках остаются цифры, с которыми ничего не сделаешь.

У владельца бизнеса вопросы простые. Попала ли в Google моя новая страница услуги? Заметил ли он переписанный в прошлом месяце текст? Какие страницы продвигать в первую очередь? Общий итог не отвечает ни на один из них, а мы в той ситуации не могли даже показать коллеге привычные скриншоты, потому что они описывали сайт, которого уже не было.

Была и вторая проблема, наша собственная. Мы сделали всё, что советует документация Google: чистая карта сайта, внутренние ссылки, никаких запретов и терпение. Порядок, в котором Google будет смотреть наши страницы, мы оставили на его усмотрение. Оглядываясь назад, именно это решение обошлось нам дороже всего.

Вопрос

Вопрос к каждому адресу

Поэтому мы поменяли сам вопрос. Вместо «сколько страниц в индексе» мы спросили, что Google знает о каждом адресе нашего сайта на сегодняшний день.

Так одна цифра превращается в реестр. Наш охватывает все адреса на трёх языках: примерно половина из них статьи, остальное кейсы портфолио, страницы услуг, страницы разделов, тем и компании, на которых держится сайт. Каждый адрес проходит одни и те же проверки, каждый ответ хранится с датой, поэтому реестр можно сравнивать неделя к неделе, фильтровать по языку и типу страниц и сортировать по тому, что важно бизнесу.

Находки

Что знал Google

Первый полный прогон разложил адреса, которые мы хотим видеть в Google (живые, канонические, есть в карте сайта), по четырём состояниям. В индексе оказалось меньше половины. Заметная часть была просканирована и оставлена за бортом, меньшая часть обнаружена и ждала очереди, а у большой доли адресов в Google не было никакой записи, несмотря на карту сайта.

Каждое из четырёх состояний требует своей работы. К неизвестной странице нужен путь, обнаруженной нужна причина оказаться первой, а по просканированной надо выяснить, почему её не взяли. Общий итог смешивает все три задачи в одну цифру.

Продающие страницы

Где было наше предложение

Потом мы отфильтровали страницы услуг, и картина стала неприятной. На некоторых наших языках большинство страниц услуг Google ни разу не зафиксировал. Все они были в карте сайта, на них вели ссылки из меню, футера и списка услуг на каждой странице. Технически с ними всё было в порядке.

Наше лучшее объяснение пока гипотеза, а не измерение. Ссылки из меню и футера ведут на все страницы одинаково, поэтому мало говорят Google о том, какая из них важна. Вес несут ссылки внутри текстов, а у нас почти все они вели от одной статьи к другой. Google шёл по этим путям в блог, где мы публикуем чаще всего, и коммерческие страницы ждали своей очереди. Чтобы проверить гипотезу, мы поставили ссылки на страницы услуг изнутри статей, которые Google уже показывает (подробнее в главе о действиях), и больше ничего на этих страницах не меняли, так что следующие прогоны подтвердят или опровергнут идею.

Следуя руководству, мы доверили Google порядок. Он выбрал блог.

Для бизнеса это важнее любой пропущенной статьи. Статья приводит читателя, а на странице услуги читатель становится заявкой. На этих языках люди могли найти наши статьи, но не страницу, где можно нас нанять.

Цифра проиндексированных страниц может выглядеть отлично, когда ни одна из них не продаёт.

Свой сайт

Готово, но не совсем

Мы ждали, что первый прогон на нашем сайте подтвердит то, что мы и так знали. Несколько вещей, которые мы считали давно и аккуратно сделанными, потребовали доработки. У каждой нашлось своё доказательство и своё решение:

Больше всего нас удивили кейсы. Нам и клиентам они казались законченными, потому что дизайнер читает галерею как историю, а поисковая система видит пустую страницу с картинками.

Ничего из этого не было видно в сводном отчёте. Каждый пункт стал очевиден, когда адреса встали в реестре рядом друг с другом.

Действия

Что мы изменили

Отчёт стоит ровно столько, сколько решений он даёт. Аудит дал нам короткий список, и большую часть мы сделали в ту же неделю:

• Запросы вручную, по порядку: страницы, которые важнее всего для бизнеса, первыми отправляются в «Запросить индексирование», небольшими партиями каждый день.
• Ссылки изнутри текстов: статьи, которые Google уже показывает в поиске, теперь ведут на страницы услуг через слова, которые и так были в тексте, и страница, куда Google ходит, указывает на ту, которую он ещё не видел.
• Исправления по итогам обхода: canonical, редирект и список кейсов, которым нужна написанная история.
• Переводы переписываем под рынок каждого языка.

Bing и ещё несколько поисковиков получают изменённые страницы через протокол IndexNow. Google его не использует, и это ещё одна причина выстраивать для него собственную очередь. Следующие еженедельные прогоны покажут, что из этого сработало, и в этом смысл реестра с датами: каждое изменение становится экспериментом, результат которого можно прочитать.

Консоль

Один клик до запроса

Аудит начинался как набор таблиц. Через день он стал разделом нашей админки, потому что таблица говорит, что не так, а инструмент должен подсказывать, что делать дальше.

Консоль открывается дашбордом: состояния индекса, позиции, страницы по разделам и языкам, визиты AI-краулеров и поисковые запросы с изменениями. Любой фрагмент любого графика ведёт дальше. Нажимаете на сегмент и получаете список страниц за ним, нажимаете на запрос и видите, какие ваши страницы Google по нему показывает.

Самая полезная часть устроена проще всего. Очередь на индексацию перечисляет страницы, которых нет в индексе Google, в порядке важности для бизнеса, и наверху стоят страницы, которые продают. Рядом с каждой одна кнопка: она открывает этот адрес в «Проверке URL» Search Console, где до «Запросить индексирование» остаётся один клик, и отмечает страницу как отправленную с датой. Счётчик показывает, сколько ушло сегодня. Дневной лимит таких запросов Google не публикует, по нашему опыту это около десяти для одного ресурса. После следующего еженедельного прогона у отправленных страниц видно новое состояние.

То, что раньше было списком в чьих-то заметках и догадкой, что отправить первым, теперь очередь, которая выстраивается сама.

Как повторить

Настройте это сами

Чтобы провести такой же аудит, наша консоль не нужна. Настройка на стороне Google занимает минут двадцать, а остальное делает скрипт, который ИИ-агент напишет вместе с вами по понятному заданию. Что понадобится:

• Проект в Google Cloud с включённым Search Console API в библиотеке API. В пределах квот API бесплатен, и этот один API даёт поисковые данные, проверку URL и карты сайта.
• Сервисный аккаунт в этом проекте, то есть пользователь-робот с JSON-ключом. Ключ храните на своём сервере, вне папки сайта, не кладите его в репозиторий и не вставляйте в чат: агент работает с путём к файлу, а не с его содержимым.
• Доступ в Search Console: в разделе «Настройки», «Пользователи и разрешения» добавьте адрес сервисного аккаунта с ограниченным доступом, а скрипт пусть запрашивает у Google только права на чтение.
• Точное имя ресурса: sc-domain:example.com для доменного ресурса или https://example.com/ с косой чертой в конце для ресурса с префиксом URL. Большинство ошибок «нет доступа» возникает именно из-за этой детали.
• Bing, если нужен: Bing Webmaster Tools выдаёт ключ API в настройках, а на индекс Bing опираются несколько ИИ-ассистентов, в том числе Microsoft Copilot.

Задание агенту мы сформулировали так же, как сформулировали бы разработчику. Для каждого адреса из карты сайта и из внутренних ссылок записать, что отдаёт страница, спросить Google, что он о ней знает, взять поисковые данные, сохранить каждый ответ с датой, переживать обрывы и никогда не выводить ключ. Теперь скрипт работает каждую неделю ночью, и каждый его источник отвечает на свой вопрос:

Несколько деталей экономят время (по документации Google на ноябрь 2026). URL Inspection API разрешает 2 000 проверок в день на ресурс, и каждый ответ содержит ссылку на ту же проверку в интерфейсе Search Console, на этом и держится очередь в один клик. Search Analytics API отдаёт до 25 000 строк за запрос, тогда как интерфейс останавливается на 1 000, умеет фильтровать страницы регулярным выражением (например, отдельный ряд для папки каждого языка) и хранит около шестнадцати месяцев данных с задержкой в два или три дня.

Две детали стоили нам времени, и обе касались данных, а не кода. Первая версия скрипта продолжала повторять запросы после дневного лимита проверок, нынешняя аккуратно останавливается и сохраняет последний известный ответ с пометкой. А первые результаты Bing говорили, что большой доли наших страниц в Bing нет. Сырые ответы показали, что в основном это было «слишком много запросов», потому что в наших прогонах Bing отвечал лишь на несколько проверок в минуту для одного сайта, и теперь такой ответ никогда не засчитывается как результат.

Один шаг остаётся ручным. «Запросить индексирование» есть только в интерфейсе Search Console, а свой Indexing API Google разрешает только для вакансий и прямых трансляций. Инструмент может довести вас до кнопки, нажимать её всё равно вам.

AI-краулеры

Другие читатели

Google больше не единственный читатель, который важен, поэтому сайт ведёт ещё и журнал AI-краулеров: одна строка на каждый визит известного краулера, со временем, адресом и статусом. Никаких IP-адресов и ничего о людях, и на страницах сайта этого не видно.

У метода есть пределы, о которых стоит сказать. Краулера мы узнаём по user agent, а это лишь то, что запрос сообщает о себе сам, и подделать его можно. Поскольку IP-адреса журнал намеренно не хранит, сверку с диапазонами адресов, которые публикуют AI-компании, мы не делаем. К тому же загрузка страницы остаётся загрузкой и не значит, что её процитируют в ответе ChatGPT, Perplexity или кого-то ещё.

С этими оговорками первые часы журнала всё равно оказались показательными. Запросы с подписью нескольких AI-компаний загружали наши страницы на всех трёх языках, и больше половины прочитанного ими не было в индексе Google. Несколько часов дают пробу, а не исследование, но видно, что списки различаются: медленный индекс Google не значит, что ИИ-ассистенты вас не читают. Об этом сдвиге мы писали в статье SEO, AEO и GEO в 2026 году.

Выводы

Что взять владельцу

Выводы подходят любому сайту, с консолью или без неё:

• Спрашивайте, что Google знает о каждом адресе, хотя бы о страницах, которые продают, прежде чем верить общей цифре.
• Относитесь к «обнаружена», «просканирована» и «в индексе» как к трём разным задачам с тремя разными решениями.
• Проверяйте коммерческие страницы отдельно, потому что здоровый блог может скрывать невидимое предложение.
• Сравнивайте состояние в индексе с тем, появляется ли страница по реальным запросам.
• Смотрите на каждый язык как на отдельный сайт со своим рынком.

Из самой сборки мы вынесли ещё два правила: читайте сырые ответы, прежде чем верить сводке, и проверяйте инструмент сначала на своём сайте, потому что доработки потребовали как раз те страницы, в которых мы были увереннее всего.

Об ИИ в маркетинге чаще всего говорят как о способе писать больше текста быстрее. Для небольшой компании важнее другое: инструменты, чтобы видеть собственный бизнес, теперь можно собрать за полдня, начав с понятного вопроса. Метод, чтение данных и решения были нашими, а ИИ сделал сам инструмент дешёвым.

Search Console остаётся главным источником, и каждая цифра нашего реестра пришла из API самого Google. Мы добавили слой, который хранит историю, ставит источники рядом, выстраивает работу по порядку и не замирает, когда замирает отчёт. Органический поиск меняется быстро, мы разбирали это в статье Органический поиск сжимается, реклама дорожает, и такой слой стоит иметь.

FAQ

Источники

• Google: URL Inspection API, UrlInspectionResult
• Google: Search Analytics API, query
• Google: Search Console API usage limits
• Справка Google Search Console: отчёт «Индексирование страниц»
• Google Search Central: Ask Google to recrawl your URLs