Как сделать так, чтобы Googlebot🐕 перестал жрать всякое💩

 Публичный пост
16 декабря 2021  97

Не будем долго мять🍈🍈

Как закрыть URL от Googlebot🐕, а то достал жрать все подряд, чтоб его так?

Процитирую ранний пост на канале, если вдруг кто упустил:
Googlebot переходит по всем ссылкам, даже если там нет атрибута href, даже если они реализованы через js и даже если вы "зашифровали" их base64 кодом.

В чем была проблема?

Названия классов скрытых в div/span ссылок (и зашифрованных в base64) содержали слова "link/src/href". Робот не так интенсивно, но все же продолжал сканить закрытые страницы, при этом на сайте не было нормальных открытых ссылок на них (чтобы a href="" как мы привыкли) . При этом сами атрибуты, содержащие зашифрованный URL, тоже не намекали на то, что это ссылка, т.е. можно было грешить только на имя класса или подвязывать с сеохой😋

Что сделали?

Переименовали все CSS классы на сайте, которые могут хоть как-то намекать на то, что это ссылка.

И че, какие результаты?

Предварительный результат после внедрения порадовал, но для чистоты эхсперимента нужно было подождать месяцок-другой.
И вот, после контрольного анализа серверных логов могу с уверенностью сказать, что данный подход помог решить задачу.
Googlebot перестал совсем краулить закрытые страницы🙌 Так что:

Выпиливайте из названий CSS классов элементов любые слова-маркеры ссылки, если не хотите, чтобы Googlebot по ним кликал.

📌Напоминаю про бесплатный анализ логов (теперь публикация URL проекта не является обязательным требованием🙌), если кто упустил

Аватар Drkwng Dck
Drkwng Dck @drkwng
Chief Executive DuckDrkwng Inc.
📍Одесса, Украина
Команда Клуба

<!-- Self Promo -->

Чирик🐣
Пишу сюда (иногда годноту по версии моей мамы):
https://t.me/drkwng

🤘Тулы для вебмастеров, аналитика, dummy text...

Мамкин муркетолог / Папкин дата ссаентист / Бабкин филантроп и миллиардер

<!-- ./Self Promo -->

Связанные посты
2 комментария 👇
Алексей Алексеич , СЕО Команда Клуба 16 декабря 2021

Гугл бота собакой назвал?)

  Развернуть 1 комментарий
Аватар Drkwng Dck Drkwng Dck 16 декабря 2021 автор Команда Клуба

@alexeich, ну не 🐱. Жрет всякий мусор. Способ позволит наладить сбалансированное питание песику🐕‍🦺

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб