«НЕ» поведенческий фактор Яндекса — Неоконченная пьеса для накрутки ПФ

Вступление

По завершению 2021 года Яндекс с точностью определил свою "эволюционный" путь по отношению к развитию поиска. До августа 2021 поисковый департамент Яши кропотливо решали большую внутреннюю экономическую проблему: сверхкритические значения по фроду в Я.Директе, неспособность идентификации каких-либо ботов, особенно с имитацией под пользователей. Все это логично может привести к финансовым потерям, особенно это касается сектора продажи рекламных возможностей, поскольку это является львиной долей дохода компании.

Задача для департамента: Найти пути решений для прекращения дестабилизации уровня доверия к компании для текущих и новых рекламодателей.

Решение:

• Срочно забить болт на текущие важные задачи по развитию и работы текущих систем аналитики (Привет, Я. Вебмастер! Что с отчётом по внешним ссылкам?) и развитию корректного поиска.
• Выкатить очередной бесполезных алгоритм, который не будет работать.
• Создать иллюзию активной борьбы с каким любо фродом в поиске, и тем более в директе.
• Не быть похожим на Гугл и попытки выпнуть его из российского рынка. Читайте здесь - https://searchengines.guru/ru/news/2052888

Конечно, список выглядит иронично. Главное, я не в коем случае не хочу обвинять/оскорблять/усмехаться. Но из этого списка складывается впечатление реальных поставленных задач, судя по тому, что происходит сейчас.

Большая плохо управляемая управленческая машина (топ-менеджмент) и ярый капиталистический оттенок концепции компании, без реального взгляда на нужды развития поиска - вот сегодняшняя картина происходящего.

Но здесь, не будем говорить об общей политики Яндекса, его управлении, явных рычагов с государством по перспективе монополизации в России.

Поговорим о конкретной ситуации с накруткой ПФ, конкретные кейсы, скрипты действия (что и как можно делать).

Как Яндекс ведет борьбу с накруткой ПФ

1. Яндекс создал сам себе капкан

Главный факап концепции развития поиска - главное быть не похожим на Гугл. Это не плохо, вести свою собственную линию, но нужно хотя бы немного заглянуть вперед, чтобы представить, что к чему может привести. Речь идет о выборе доминирующего фактора - ПФ

На сегодня ПФ Яндекса состоит из двух этапов его работы/аналитики:

Внешний ПФ - поведение пользователя в SERP.
Внутренний ПФ - поведение пользователя на сайте. Так вот, речь будет идти только за внешние ПФ.

Развитие и выбор главенствующего фактора ранжирования выбран не зря. Главная задача работы над развитием ПФ это сбор BIGDATA данных о пользователей, чтобы передать их в свои рекламные системы. На основе этого концентрируется модель формирования будущих объявлений Директа. Из данных ПФ получают прогноз по CTR, общей кликабельности, прогнозы трафика и конверсий.

100% политика поисковика - увеличение коммерциализации компании за счет "убийства" хорошего поиска для ЛЮДЕЙ.

Еще раз! Огромная "махина" под названием Матрикснет собирает данные по ПФ, которые интерпретируются в коммерческую выгоду для продажи рекламных возможностей + персонализированная выдача под каждого пользователя. И все, блин!

Да ну, скажите вы! Яндекс же выпустил кучу алгоритмов, которые улучшают качество поиска. Совершили огромный рывок за последние 10 лет

ОК, давайте, по существу, о вкратце поговорим. Какую реальную задачу они решают для компании и для пользователя.

Палехи, Королевы и YATI. Это очередной способ забрать трафик у вебмастеров при помощи click zero. Т.е. попытка отдавать ответы сразу в выдаче пс, без перехода на сайт + в ТОП пихаются собственные сервисы, забирая трафик у малого, среднего бизнеса в стране.

Типичная сегодняшняя картина видимости ТОП-10:

Ниша - Ecomm
фиолетовая - сайт ecomm
голубая - Яндекс Маркет

Яндекс.Маркет в наглую за полмесяца просто забил ТОП по всему конкурентному СЯ. И такая картина у очень многих проектов на сегодня. Просто и тупо включили кнопку ранжирования +1000.

Самое печальное, что идет активная пропаганда pr отделами Яши, что идет масштабные работы над поиском.

Также, это касается с "борьбой" Яши с накрутчиками. Выбрав ведущий фактор ранжирования - ПФ, Яндекс столкнулся с большой жопой под названием хитроумные вебмастера.

По сути, это не является какой либо борьбой Яндекса с вебмастерами, или наоборот. Скажу, такая концепция выгодна обеим сторонам. Поскольку и Яндекс тоже получает с этого профит. Какой?

Яндекс тем самым быстрей учиться, когда на него таким образом оказывают влияние в ранжировании и быстрей находит косяки в алгоритмах. Верней должен учится. Но лично резюмируя сегодняшнюю ситуацию: Яндекс пока не представляет как эту "проблему" решить 100%. Нет, то что баны идут, это да. Но он не успевает за трендами, быстрого развития способов накрутки, хитровыебанность вебмастеров, полная имитация пользователя с его куки и браузерной историей + отпечаток браузера + отпечаток компа + аффинити индекс. Образовалась дыра в алгоритме, которую хз, когда закроют.

Резюмируем. Их борьба имитация борьбы на сегодня.

Лето 2021. Большое обновление Метрики и Антифрода Поиска, Директа

С конца 2020 года, видимо, департаменту поиска прилетало серьезно по "шапке", что ребята задумали делать большие обновления по выявлению накрутки.

Задача: Научиться выявлять явную накрутку, ботоводный трафик, кликфрод. А далее что делать? Наказывать? Не вариант - это создастся дополнительный инструмент для манипуляции дропа конкурентов в поиске и в рекламе.

Так что делать при подозрении?

Решение: При подозрении/выявлении ботоводного трафика, который имитирует пользователя (или любой другой бот) просто фильтровать системой антифрод (якобы!). Далее обновить систему подсчета и анализа трафика в Метрике, чтобы для пользователей и рекламодателей предоставить красивые графики "без ботов". Мол, у нас новейшая система, будьте уверены теперь ботов нет. Т.е. снова налили воды, чтобы успокоить прежде всего рекламодателей и владельцев бизнесов, которых скручивают.

Похоже, Платон устал разбирать кучу ежедневных писем с претензиями.

Подробнее про сам антифрод есть здесь - https://searchengines.guru/ru/articles/2052842

Из документа:

Ключевая задача Антифрода Поиска — исключить влияние накруток на результаты поиска, чтобы пользователи Яндекса находили в выдаче релевантные ответы на свои запросы. Для этого необходимо высоко ранжировать наиболее качественные сайты — которые отвечают на вопросы пользователей и безопасны для них. И понижать в поиске сайты, которые пытаются обмануть алгоритмы или размещают неприемлемый, или опасный контент (например, вредоносное ПО).

И сразу 1кк вопросов. Некоторые из них:

1. Есть два одинаковых сайта по качеству и оптимизации. Единственные вариант ранжировать одного выше другого это взглянуть на ПФ. Один скручивает конкурента путем не занижения отказов, а наоборот, поднимает общую вовлеченность и конверсии. Но делает это спецом, пытаясь спалиться перед антифродом. Другой тупо крутит себе ПФ, скручивая ПФ конкурента.

Что будет делать антифрод? Нихуя не будет делать. Здесь патовая ситуация перед алгоритмом. В ТОПе останется тот, у кого тупо лучше ПФ. Никто не будет играть в Пуаро и разбираться в методах манипуляции над конкурентами. Иначе, весь поиск вообще.

Единственное, что сейчас делает антифрод при палеве, это старается не передать накрутку в алгоритм ПФ. А дропы и прочие вещи невозможны сейчас.

2. Из скрина работы антифрода

Т.е. что? Демонстрируется дестабилизация данных по трафику. Мы видим 2 итерации "чистки" данных. И при последней итерации данные будут меняться? А как быстро это происходит? Когда и во сколько будут естественные данные. Это важно знать! Непонятно, короч.

И тому подобные кучи вопросов. Но расписывать не будет. Тема другая.

**Резюмируем:

a) Метрика сейчас очень плохо определяет ботов. Можно сказать, что она только учиться это делать. Что ж посмотрим. О работе новой метрики высказался один из сильнейших гуру SEO Алексей Трудов - https://alexeytrudov.com/web-marketing/web-analitika/novaya-sistema-obnaruzheniya-robotov-v-yandeks-metrike.html
b) Антифрод не дропает сайты, когда палит накрутку, а игнорирует, не передает поведенческие алгоритмам Яши.

Накрутка ПФ - 2021. Собственный скрипт: как и что работает

Перед тем как описывать процесс накрутки, нужно разобраться на какие показатели в поиске положительно (REL +) реагирует алгоритм Яши.

Внешние ПФ (SERP ПФ):

1. CTR сниппета в выдаче;
2. Просмотр от 1 сайта/вкладки (только коммерческая выдача);
3. Last click - сайт на котором, завершена сессия/поиск;

Внутренние ПФ (поведение на сайте):

1. Совершено полезное действие (переход в контакты, чаты, клик по номеру телефону/email, отправка форм
2. Время посещение от 15 сек.

Что было важно раньше:
3. Глубина переходов от 1-2 страниц
4. Общее время посещения
5. Общие данные по отказам

Скрипт

Итак, разобрались по основным параметрам и приступаем к настройки процесса накрутки. Обычно он проходит в 3 этапа:

Проект настройки нужно отстраивать в индивидуальном порядке к каждой отдельной нише.

К примеру, разбираем настройки и саму накрутку по проекту Ecomm. Гео Москва.

Регистрация профилей/получение фингрепринта

Подготовка:

Я использую софт Зеннопостер (зенка), многие работают на БАСе. Но рассказывать показывать на примере зенки.

Прокси: Любые приватные мобильные прокси. Сейчас использую свою ферму, но есть хорошая альтернатива - ltespace - очень долго использовал, рекомендую.

Прокси нужно выбирать под нужное ГЕО - это сейчас важно. Если вы продвигаете в Москве, то и ip нужны московские и тп.

Параметры шаблона по регистрации профилей:

Прокси - задаем адрес прокси. Обычно это выглядит так:
socks5://логин:пароль@сервер:порт

1. Список сайтов для выгула - специально подготовленный список сайтов, по которым бот заходит напрямую. Список может быть специально подготовлен под аффинити индекс (об этом позже).

2. Список запросов для поиска - специально подготовленный список ключей, по которым бот серфит через поиск. Список также может быть специально подготовлен под аффинити индекс (об этом позже)

3. Белый список доменов - при реге и нагуле бот не заходит случайным образом на целевой сайт, что указаны в этом списке.

Тип браузера при создании профиля - ! сейчас это очень важный момент. Браузеры на основе ОС IOS, такие так сафари, имеют очень высокий риск спалиться, поскольку сымитировать IPhone стало зенке все сложнее из-за ебланства и скрытости своих продуктов для разрабов Тима Кука. Поэтому можно/нужно использовать браузеры Chrome или браузеры основаны на ядре Хрома (Chromium): яндекс.браузер, Edge, Opera на ОС Андроид. Но лучше всего отрабатывает связка Chrome на Андроиде.

*Пример фиксации трафика из вебвизора метрики:

Мы видим, что запросы определились только у андроида с хромом

Также, в этом пункте идет назначение свойства фингерпринт. В зенке это строка выглядит так:

*UA Mozilla/5.0 (Linux; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.105 Mobile Safari/537.36

4. При создании профиля заходить на случайные сайты - эта вариация нужна для более степени очеловечивания профиля, когда бот серфит по сайтам рандомно (не по списку)

5. Проверка на смену IP и ожидания смены IP при старте - важно понимать, что у каждого профиля в идеале должен быть свой IP при сессии. Т.е. шаб должен дождаться окончания ротации IP прокси, и как только сменится IP, приступить к созданию следующего профиля.

6. Время сессии от и до. Важный параметр во всех этапах регистрации/прогрева/накрутки. Поскольку, особенно на арендных прокси, есть четко заданный временной диапазон ротации IP. Каждые 5-10-15 и тд автоматически будет сменяться IP. Нам нужно, чтобы время сессии бота совпадало с диапазоном времени ротации прокси.

Т.е. ротация IP у прокси, к примеру, 10 мин. Каждые 10 мин прокси автоматически сменяет IP. Время сессии у нас должен быть максимум 10 мин. Например, от 420 до 595 сек. С учетом того, что у нас уже задан пункт 5, следующая сессия начнется только после смены IP.

7. Временной диапазон по серфингу на сайтах, куда заходит бот. Задаем по времени просмотр сайта от и до.

8. Устанавливаем ГЕО. Шаблон должен уметь выставлять необходимый регион, чтобы максимально стараться очеловечить профиль. Но, если у вас корректные прокси по ГЕО, то это будет происходить автоматом при заходе на yandex.

*Пример опций у арендного шаблона:

Резюмируем по необходимым настройкам из нашего примерного проекта:
У нас есть список запросов, которые нужно закрутить в ТОП-1.
10 ключей. Общая частотка WS "!" - 1000. На каждый запрос в среднем спроc WS "!" 100.

Считаем примерный трафик на сайт в ТОП-1 по формуле:

PTraf = «WS» запроса × средний CTR позиции

При этом средний CTR позиции берутся из таблицы

Расчет трафа с одного запроса:
*PTraf (Яндекс) = 100 * 0, 10 (CTR 1 места в Яндексе) = 10

Расчет трафа со всем запросам:
*PTraf (Яндекс) = 1000 * 0, 10 (CTR 1 места в Яндексе) = 100

Т.е. мы понимаем из формулы c CTR, что проект находясь по всем запросам в ТОП-1 может получить трафа около 100, при спросе из wordstat WS "!" 1000

Для чего весь этот расчет на старте?

Когда мы собрали все необходимое для продвижения СЯ, мы на старте должны понимать, сколько мы можем естественным образом, без особого палева, дать ботоводного трафика на продвигаемый проект. Также, мы поймем, сколько нам понадобиться сделать профилей на старте.

**Важно! При новых обновлениях антифрода поиска, нужно стараться не скручивать исторические показания CTR документа в поиске, которые есть у Яндекса.

Т.е мы учитываем исторический спрос и прикидываем по формуле, сколько ботов в день мы можем крутануть.

В общем, на первом этапе, следовательно, из данных спроса, в месяц нам нужно готовить от 100 ботов.

Аффинити-индекс

Напишу своими словами, что это такое и почему это уже стало важно.

В любой ниши присутствует целевая аудитория у которой есть свой определённый список интересов. Яндекс может использовать свою BIGDATA, чтобы сегментировать интересы людей по каждой отрасли бизнеса и другого рода деятельности.

Так вот, чтобы максимально ботоводный профиль был похож на подходящую аудиторию, нужно с самого начала создания профиля имитировать интерес, соответствующей интересам аудитории. Делается это с помощью создания списка ключей (п.2 из 1 этапа). Т.е. этот список мы разбавляем запросами, которые задает потенциальная аудитория ниши проекта.

Что за список интересов?

Данные по интересам из ниши берем из отчета Я.Метрики

Как подготовить список ключей по интересам (быстрый способ)?

Из отчета Метрики по топовым интересам аудитории отрасли мы уточняем конкретные категории

Из конкретики мы видим, что аудитория активно ищет компьютерные игры (и тп) и вся финансовая информация.

Далее по маске-категории (компьютерные игры) мы можем спарсить тематичные ключи, например, в сервисе SERPSTAT.

И получаем список ключей по одной категории интересов вашей аудитории.

Таким образом мы проходимся по всем топовым категориям и формируем свой аффинити-индекс аудитории отрасли.

Во многих случаях интересы аудитории схожи со многими отраслями проектов. И достаточно иметь одну базу на всех, но для погружения в более менее профессиональную степень имитации ПФ, создается отдельный индекс интересов под каждый проект.

Зачем этот индекс учитывать?

Яндекс использует любые свои возможности для идентификации бота. Не смотря, что бот такой молодец: идеально имитирует человека по поведению в серпе на cайте, есть регистрация яндекс id, есть исторический поиск, посещений других сайтов, не создан вчера и тп. Но спалить профиль бота можно по его созданному интересу, историческому поиску, которому может не соответствовать реальная аудитория.

Яндекс с каждым днем будет сильнее это учитывать. Вес данному фактору будет усиливаться. Так что, считаю, важный пункт, который нужно уже сегодня учитывать.

Выгул профиля по ПС

После этапа регистрации профилей можно сразу их прогревать. Сам выгул состоит из двух частей:

a) Прогрев по списку запросов в ПС

б) Прогрев по прямому заходу на сайт по списку

Ведь согласитесь, что естественный серф информации в ПС предполагает как и формирование запроса в ПС, так и прямой вбив сайта в адресную строку. И это на сегодня при подготовке профилей должно учитываться на 100%.

Итак, мы создали 100 профилей, которые имеют свой фингерпринт и немного исторического поиска.

У нас для этого все необходимые данные уже подготовлены на первом этапе:

Список запросов уже есть
Ротацию прокси мы уже знаем
По настройкам можно поиграться со временем сессии и временем нахождения бота на сайте, чтобы не было временных повторений с первым этапом. Прогоняем профили в 2 итерации. Т.е. прогнали круг 100 пролей по запросам и следом еще один круг прогона.

*Из примера опций арендного шаблона:

Выгул профиля по списку сайтов

По сути своей здесь тоже работает пример с аффинити-индекс по запросам, только это сами урлы сайтов, по которым профили заходит напрямую на сайт.

Следовательно, вместо запросов мы собираем базу урлов сайтов по интересам аудитории. Все опции также работают, как и при прогреве по запросам в ПС. Разве, что меняем время сессии и время пребывания на сайте. Также не забываем про глубину нахождения бота на сайте. Задаем от 1 до 3 или от 2 до 4 страниц. Максимально рандомно при каждом круге.

Прогоняем в 2 итерации. 2 круга прогрева.

**Сколько времени нужно прогревать профили?

Общие время прогрева от создания профиля до последнего круга составляет минимум! 3 суток. Это минимум. Лично у меня этот процесс занимает 5-7 дней.

Регистрация профиля в Яндекс ID

После общего прогрева профилей (через 3-7 дней) для получения более "человеческого" образа в лице нейросетей Яндекса мы можем зарегистрировать профиль и получить Yandex ID.

Пока есть возможность регистрировать без привязки "живого" номера телефона, нужно это использовать.

Сам процесс ботоводной регистрации позволяет провести регистрацию через виртуальный номер или рекапчи. Сегодняшние решения позволяют это делать в автоматическом режиме.

Какие есть решения для помощи в регистрации:

1. Куча сервисов по решению капчи. Я использую rucaptcha.com. Через API можно подключить в Зеннопостер и далее в шаблон.

2. Можно и заморочиться с номером телефона. Сервисы по принятию смс много. Тоже все через API. Но лично я пока не использую этот момент. Знаю, что рано или поздно нужно будет заняться, но пока в планах, поскольку работает и без этого.

3. Рандомная генерация ФИО, даты рождения, контрольных вопросов, пароли почта. На все это есть крутой сервис - https://randomdatatools.ru/. Также все хорошо подключается к нужному шаблону зенки.

*Из примера опций арендного шаблона:

ИТОГИ ПРОГРЕВА

100 нашей профилей за 7-8 дней прошли весь процесс создания-прогрева-регистрации аккаунта:

Пример расписания процесса (все зависит от объема, конечно):

День 1 - Создания профилей

День 2,3 - Прогрев по списку запросов в ПС

День 4,5 - Прогрев по списку сайтов

День 6,7 -Прогрев по списку запросов в ПС

День 8 - Регистрация аккаунтов

И теперь самое время аккаунты придать **отлежке!

Перед загоном на целевой профили нужно отлежать минимум 2-3 дня

У меня профили отлеживаются минимум 4-7 дней. У весь процесс от создания до регистрации и отлежки у меня занимает в среднем 14 дней.

Делается это для того, чтобы Яндекс успел обработать исторический поиск у профиля и дал соответствующий вес и статус "not bot"

**После всего этого, только сейчас наступает самый ответственный момент во всей кампании накрутки ПФ - загон на целевой!

Выше мы делали все расчёты по вопросу: сколько можно генерить трафика на сайт.

Из нашего тестового примера эти данные у нас уже есть: 100 заходов в месяц/3-4 захода в день (разбираем всего 10 запросов, в реальности запросов у нас гораздо больше)

**Закон №1 - Не перекручивать CTR!

Все данные по CTR у Яши есть, и он хорошо сейчас за ними следит и включен в алгоритмы антифрода. Достаточно сложить 2+2 и все спалиться моментально, при перекручивании CRT запроса.

Какое есть решение: мы знаем частотность запроса, знаем примерный ctr топ-1,2,3 (из таблицы выше).

В шаблон включаем функцию - Соотношение переходов по ключу в выдаче к просмотрам, %. (нужно понимать, что при использовании этой функции, готовить нужно на 20-30% больше профилей)

Т.е. при этой опции 20% зададут нужный запрос, но не перейдут на целевой. Это более менее сохранит исторический данные по CTR у Яндекс и не возникнет подозрений.

**Закон №2 - Максимально естественное поведение в SERP, LAST CLICK!

Как вы сами ищите информацию о покупке/услуге/и др. в поисковиках? Наверняка, будет посещение несколько сайтов, несколько вкладок и тп. Все это нужно заложить в поведение бота. Т.е. когда бот начинает работать в выдаче, перед тем, как он зайдет на целевой, он должен пройти путь в открытии других сайтов-конкурентов и открытии несколько вкладок в браузере. И только после этого зайти на целевой!

**Здесь решаются несколько фундаментальных задач в накрутке! Возможно даже один из ОПРЕДЕЛЯЮЩИХ во всей кампании:

1. Корректный человеческий поиск информации. Несколько сайтов, несколько вкладок при сессии.

2. Скручивание ПФ у конкурентов. При заходе продолжительность до 15 сек.

3. Тот самый золотой - last click. Поисковая сессия завершается на целевой проекте. Это жирный сигнал, о то, что пользователь нашел, что искал и удовлетворён поиском. REL+ к сайту

*Пример опций арендного шаблона:

Какие основные важные параметры нужны:

1. Задаем в % переход по конкурентам. Иногда можно и без посещения конкурентов.
2. Рандом о количестве посещений конкурентов.
3. Рандом о времени посещения конкурентов. От и до 15 сек.
4. Рандомное время посещения страницы на целевом.
5. Рандом в количестве посещений страниц на целевом.

Рандом, рандом и еще рандом! Никакого четко определяющего поведения бота.

Шаблон должен при каждой сессии самостоятельно генерить рандом при выставлении всех опций!

**Закон №3 - Бот должен выполнять целевые действия на сайте!

В нашем случае, при нише Ecomm, бот при целевом действии, выполняет добавление товара в корзину, пользуется фильтрами каталога, пользуется внутренним поиском и тп.

При обновлении новой метрики, мы увидели, что Яндекс включили автоцели. Здесь стало понятно, что Яша в своих алгоритмах учитывает целевые действия. Я считаю, что это все уходит в сигналы ранжирования. Все логично.

Так вот, целевые действия должны выполняться, что гораздо снизит шанс попадания под антифрод и в роботность.

*Из примера опций арендного шаблона:

Здесь нужны настройки цепочки целевых действий.

Так, ну похоже это все ребята, пора все это резюмировать.

РЕЗЮМЕ

Я старался максимально подробно поэтапно расписать все свои действия, которые работают сейчас. Я понимаю, что это только верхушка "айсберга". Хочется заглянуть под капот шаблонов, понять как самостоятельно писать эти шаблоны, но это уже заходит за рамки авторства, поделится не могу.

Главное здесь, это понять принцип действия. Хотел рассказать, что конкретно работает на сегодня. Какие обновления делает Яндекс и какая у него политика по борьбе с накрутчиками сейчас.

Очень надеюсь, что смог передать полезную информацию, и для вас сформировались какие либо инсайты в этой теме.

Буду признателен, если вы поспособствуйте в распространении этой инфы, может кому будет тоже полезно)

Более менее свежие полезные видосы о ПФ без воды: