Какие системы формируют поиск Google?
Архитектура Google построена как последовательность из пяти основных слоев обработки данных. Сначала роботы Trawler сканируют веб-страницы и передают их в систему индексации Alexandria, которая классифицирует документы по уровням важности через компонент SegIndexer. Затем при поступлении поискового запроса активируется система Mustang, обрабатывающая миллионы документов за миллисекунды и формирующая список из примерно тысячи потенциальных результатов.
Далее включается Topicality — алгоритм, анализирующий соответствие документа запросу через текстовые сигналы, структуру обратных ссылок и поведенческие метрики. После этого NavBoost переранжирует результаты, опираясь на исторические данные о кликах пользователей по аналогичным запросам. Финальный этап — применение Twiddlers, набора корректирующих фильтров, которые могут повысить свежие документы, понизить подозрительные в спаме страницы или обеспечить разнообразие в выдаче.
Alexandria и SegIndexer: многоуровневая индексация
Такая архитектура позволяет Google обрабатывать запросы со скоростью менее 200 миллисекунд. Выбирая максимальную скорость доступа к популярным документам, Google жертвует равномерностью шансов для новых или нишевых страниц — документы из уровня Landfills физически обрабатываются медленнее и могут вообще не участвовать в ранжировании по высокочастотным коммерческим запросам.
Согласно утечке документации 2024 года, система TeraGoogle используется как резервный индекс для сверхдлинных или специфических запросов, когда в основных уровнях недостаточно релевантных результатов.
Mustang: первичный скоринг на скорости
На этом этапе Mustang также идентифицирует тип запроса пользователя через атрибут CommercialScore. Если система определяет транзакционное намерение (пользователь ищет товар для покупки), приоритет получают страницы интернет-магазинов. Для информационных запросов выше ранжируются энциклопедические статьи и руководства. Основной компромисс Mustang заключается в том, что ради достижения экстремальной скорости система использует упрощенные модели оценки релевантности, игнорируя сложные семантические связи и пользовательский контекст, которые учитываются только на последующих этапах.
Как Google ранжирует результаты поиска?
Ранжирование в Google происходит через последовательное применение трех слоев алгоритмов с возрастающей сложностью расчетов. Первый слой — Mustang — работает исключительно с текстовыми сигналами и структурой документа. Второй слой — Topicality — добавляет оценку качества обратных ссылок, тематической авторитетности домена и факторов E-E-A-T (опыт, экспертность, авторитетность, надежность). Третий слой — NavBoost — перестраивает результаты на основе того, как реальные пользователи взаимодействовали с документами по похожим запросам в прошлом.
Каждый слой может полностью изменить порядок документов. Страница, занимавшая пятидесятую позицию после Mustang, может подняться в топ-5 благодаря высокому CTR в NavBoost. Обратная ситуация также возможна — технически оптимизированная страница падает вниз из-за низкого времени нахождения на сайте или высокого процента возвратов в выдачу.
Topicality: оценка релевантности по тексту и ссылкам
Второй компонент Topicality анализирует граф ссылок между документами. Страница получает тематический авторитет, если на нее ссылаются другие авторитетные документы из той же семантической области. Сайт о велосипедном ремонте, получающий ссылки от производителей велосипедов, отраслевых СМИ и известных механиков, имеет выше тематический вес, чем страница с общего новостного портала. Система также учитывает частоту обновления контента — регулярно обновляемые документы получают временный буст в Topicality Score.
NavBoost: переранжирование на основе поведения
Система использует модель RankEmbed — двойной кодировщик, преобразующий запрос и документ в векторное пространство embeddings. Ранжирование представляет собой скалярное произведение векторов, что позволяет учитывать не только прямые совпадения, но и семантическую близость намерений пользователя. NavBoost создает множественные срезы данных по местоположению, типу устройства, времени года и языку браузера. Документ может иметь высокий NavBoost-скор для пользователей в Москве и низкий для пользователей в Екатеринбурге по одному и тому же запросу.
Новым страницам без собственной статистики кликов временно передается вес главной страницы домена через механизм NearestSeed. Согласно документации Google от 2024 года, страница сохраняет этот «унаследованный» вес в течение 14-21 дня, после чего система начинает использовать только собственные поведенческие метрики документа.
Что такое Twiddlers и зачем они нужны?
Особый тип Twiddlers — ограничители позиций на основе сигналов спама. Атрибут BadURL-demoteIndex устанавливает максимально возможную позицию для страниц, подозреваемых в манипулятивных практиках. Документ с BadURL-demoteIndex равным тридцать одному никогда не поднимется выше третьей страницы выдачи, независимо от остальных факторов ранжирования. Система использует сигналы DemoteForContent (переоптимизированный текст), DemoteForForwardlinks (подозрительные исходящие ссылки) и DemoteForBacklinks (неестественный профиль входящих ссылок) для активации этих ограничителей.
Внутренняя документация Google предупреждает, что экспериментальные Twiddlers должны применяться только после консультации с core search team, поскольку они могут создавать непредсказуемые каскадные эффекты на миллиардах документов в индексе.
Эволюция поиска: от PageRank до нейросетей
Первое поколение Google (1998-2010) работало исключительно на алгоритме PageRank, который оценивал важность документа через количество и качество входящих ссылок. Основной недостаток — неспособность понимать смысл запроса. Поиск по фразе «ремонт велосипеда» возвращал документы, содержащие точное словосочетание, игнорируя семантически идентичные страницы со словами «обслуживание байка» или «починка двухколесного транспорта».
Промежуточная попытка решения — система Caffeine (2010-2018), которая ускорила индексацию до реального времени, но сохранила примитивный токен-матчинг. Google экспериментировал с гибридной системой Knowledge Vault (2014), пытающейся извлекать факты из неструктурированного текста, но проект закрыли из-за невозможности масштабирования на триллионы документов.
Третье поколение (2019-2026) построено на нейросетевой архитектуре BERT, RankBrain и современной Alexandria. Системы преобразуют текст в векторные представления (embeddings), где семантически близкие концепции располагаются рядом в многомерном пространстве. Это позволяет Google понимать намерение пользователя, даже если запрос сформулирован нестандартно. Обратная сторона — повышенные требования к вычислительным ресурсам. Обработка одного запроса в современной нейросетевой архитектуре требует в восемьдесят-сто двадцать раз больше процессорного времени, чем в эпоху Caffeine.
Взгляд с другой стороны: почему Google иногда ошибается
Архитектура Google построена на предположении, что коллективное поведение пользователей отражает истинную релевантность документов. NavBoost принимает решения на основе кликов, времени на странице и возвратов в выдачу — но эти сигналы можно исказить. Если пользователи массово кликают на провокационный заголовок, не соответствующий содержанию страницы, система временно повысит нерелевантный документ. Требуется от нескольких дней до двух недель накопления данных о высоком проценте возвратов, чтобы NavBoost скорректировал ошибку.
Второй источник ошибок — конфликт между разными системами. Topicality может высоко оценить технически совершенную страницу с глубокой экспертизой, но если контент написан сложным языком и пользователи быстро покидают её, NavBoost понизит документ. В результате в топе оказываются поверхностные, но легко читаемые статьи, вытесняя глубокий экспертный материал. Google частично решает проблему через систему E-E-A-T-сигналов для тематик YMYL (Your Money Your Life — здоровье, финансы, юриспруденция), где приоритет отдается авторитетности источника над поведенческими метриками.
Три критические ошибки при оптимизации под Google
Суть ошибки: SEO-специалист создает технически идеальную страницу с правильной плотностью ключевых слов, структурированными данными schema.org и оптимизированными meta-тегами, но полностью игнорирует поведенческие факторы.
Почему так делают: Технические факторы легко контролировать и измерять, тогда как поведение пользователей кажется непредсказуемым.
Цена ошибки: Страница попадает в топ-30 благодаря высокому Mustang-скору, но через две-три недели NavBoost понижает её до второй-третьей страницы из-за низкого CTR (менее двух процентов) и высокого процента возвратов (более семидесяти процентов). Потеря органического трафика составляет шестьдесят-восемьдесят процентов от потенциального.
Суть ошибки: Запуск новой категории или раздела сайта без внутренней перелинковки с главной страницей и другими авторитетными разделами, имеющими высокий NavBoost-скор.
Почему так делают: Экономия времени на проектирование архитектуры сайта, стремление быстро запустить новый контент.
Цена ошибки: Новые страницы не получают передачу веса через механизм NearestSeed, оставаясь в уровне Landfills индекса Alexandria. Даже качественный контент не попадает в топ-50 в течение трех-шести месяцев. Упущенная выгода от потенциального раннего трафика может составлять от двухсот до восьмисот тысяч рублей для коммерческих тематик.
Суть ошибки: Создание универсального контента без учета различий в пользовательском поведении между мобильными и десктопными пользователями, а также между разными географическими регионами.
Почему так делают: Упрощение контент-стратегии, недостаток ресурсов для создания вариативного контента.
Цена ошибки: Страница может иметь высокие позиции в десктопной выдаче (топ-5), но полностью отсутствовать в мобильной выдаче из-за низких поведенческих метрик мобильных пользователей. Согласно данным Google за 2025 год, шестьдесят восемь процентов коммерческих запросов выполняются с мобильных устройств. Игнорирование мобильного сегмента NavBoost приводит к потере до семидесяти процентов потенциальной аудитории.
Вопросы и ответы
Скорость индексации зависит от уровня, в который SegIndexer помещает документ при первичной обработке. Страницы авторитетных доменов с высокой частотой обновления попадают в уровень Base и индексируются в течение нескольких часов. Новые документы неизвестных сайтов помещаются в уровень Landfills, где процесс может занимать от семи до двадцати одного дня. Согласно утечке документации 2024 года, система использует атрибут scaledSelectionTierRank для принятия решения, где ключевыми факторами являются доменная авторитетность (Domain Authority), количество входящих ссылок с авторитетных источников и историческая частота обновления контента на сайте.
Принудительно ускорить индексацию можно через отправку URL в Google Search Console и создание качественных обратных ссылок с уже проиндексированных страниц с высоким краулинговым бюджетом.
Технически возможно краткосрочное повышение позиций через имитацию кликов и увеличение времени на странице, но Google применяет множественные контрмеры. Система анализирует паттерны поведения: однотипность траекторий движения мыши, идентичные временные интервалы между действиями, использование одних и тех же IP-диапазонов или браузерных отпечатков. При обнаружении аномальных паттернов активируется Twiddler с атрибутом BadURL-demoteIndex, который ограничивает максимальную позицию документа тридцатой-пятидесятой строкой выдачи на срок от шести до двенадцати месяцев.
Кроме того, NavBoost работает с агрегированными данными по когортам пользователей. Даже если манипулировать поведением ста процентов пользователей из одной когорты (например, пользователи Chrome в Москве), система сохраняет низкий скор для других когорт (Safari в Санкт-Петербурге, мобильные устройства), и документ не попадает в топ общей выдачи.
Наиболее частая причина — документ оптимизирован только под систему Mustang (ключевые слова, теги, структура), но провален на этапе NavBoost из-за низких поведенческих метрик. Если CTR страницы в позиции десять-двадцать составляет менее полутора процентов при среднем CTR по позиции четыре процента, NavBoost понижает документ. Второй фактор — попадание в уровень Landfills индекса Alexandria из-за низкого Domain Authority или редкого обновления контента.
Реже встречается ситуация конфликта интентов: страница оптимизирована под информационный запрос, но Google классифицирует запрос как транзакционный через атрибут CommercialScore, повышая интернет-магазины и понижая статьи. Проверить классификацию интента можно, проанализировав текущий топ-10: если восемь из десяти результатов — коммерческие страницы, система считает запрос транзакционным.
Для новых тематик, по которым отсутствует достаточная статистика запросов и кликов, Topicality использует трансферное обучение из семантически близких областей. Система анализирует векторные представления (embeddings) запроса и находит ближайшие известные концепции в семантическом пространстве. Если пользователь ищет информацию о новой модели электровелосипеда, которого еще нет в индексе, Topicality использует сигналы ранжирования от похожих моделей электровелосипедов и документов о велосипедной электрификации в целом.
Авторитетные домены с устоявшейся тематической специализацией получают преимущество в новых подтемах своей области. Сайт о велосипедах, существующий пять лет, быстрее попадет в топ по запросам о новых технологиях велоспорта, чем новостной портал, впервые публикующий велосипедный контент, даже если технические параметры статей идентичны.
Обратные ссылки остаются критическим фактором для систем Topicality и первичного распределения в уровни Alexandria. Документ без качественных входящих ссылок с авторитетных источников практически не имеет шансов попасть в уровень Base, оставаясь в Landfills, где физически медленнее обрабатываются запросы. Однако влияние ссылок снизилось по сравнению с эпохой PageRank: в 2010 году ссылочный профиль определял до семидесяти процентов итоговой позиции, в 2026 году — около тридцати-сорока процентов.
NavBoost может полностью нивелировать преимущество от ссылок: страница с сильным ссылочным профилем, но низким CTR и высоким bounce rate, проиграет документу без единой внешней ссылки, но с превосходными поведенческими метриками. Оптимальная стратегия — построение ссылочного профиля для попадания в уровень Base и быстрой индексации, после чего фокус смещается на оптимизацию поведенческих факторов для NavBoost.
Определение конкретного Twiddler требует анализа паттерна понижения. Если все страницы сайта ограничены тридцатой-сороковой позицией независимо от качества контента — активирован BadURL-demoteIndex на доменном уровне. Если понижены только определенные категории страниц — сработал Twiddler на основе атрибутов DemoteForContent или DemoteForBacklinks для конкретного типа контента.
Восстановление начинается с устранения причины: удаление переоптимизированного контента, дизавуирование токсичных ссылок, улучшение поведенческих метрик. Снятие ограничения происходит не мгновенно — система требует накопления статистики «чистого» поведения в течение двух-четырех месяцев. Ускорить процесс можно через создание новых разделов сайта с качественным контентом, которые получат собственный, незапятнанный Twiddler-скор.
NavBoost создает отдельные таблицы запрос-документ для разных типов устройств, поскольку пользовательское поведение радикально различается. Мобильные пользователи имеют более низкую толерантность к медленной загрузке (покидают страницу через три секунды против семи секунд на десктопе), предпочитают короткие абзацы и меньше взаимодействуют с таблицами или сложными диаграммами. Документ, оптимальный для десктопа, может иметь катастрофически низкие метрики на мобильных устройствах.
Google использует отдельный индекс для мобильных устройств (Mobile-First Indexing с 2019 года), где приоритет отдается мобильной версии страницы. Если desktop-версия технически совершенна, но mobile-версия имеет проблемы с производительностью, Core Web Vitals или читабельностью, документ получает низкие позиции в мобильной выдаче независимо от качества десктопного варианта.
Система работает в режиме near-real-time с задержкой от двенадцати до сорока восьми часов между событием (клик пользователя) и его отражением в ранжировании. Для высокочастотных запросов с большим объемом статистики (более тысячи кликов в день) обновление может происходить ежедневно. Для низкочастотных запросов NavBoost накапливает данные в течение семи-четырнадцати дней перед применением корректировок.
Сезонные запросы имеют отдельную логику: система сохраняет исторические данные с предыдущих сезонов и применяет их как starting point при возобновлении запросов. Например, по запросу «купить елку» в начале декабря 2025 года NavBoost использует данные декабря 2024 года для первичного ранжирования, постепенно замещая их свежей статистикой текущего сезона.
