Не будем долго мять🍈🍈
Как закрыть URL от Googlebot🐕, а то достал жрать все подряд, чтоб его так?
Процитирую ранний пост на канале, если вдруг кто упустил:
Googlebot переходит по всем ссылкам, даже если там нет атрибута href, даже если они реализованы через js и даже если вы "зашифровали" их base64 кодом.
В чем была проблема?
Названия классов скрытых в div/span ссылок (и зашифрованных в base64) содержали слова "link/src/href". Робот не так интенсивно, но все же продолжал сканить закрытые страницы, при этом на сайте не было нормальных открытых ссылок на них (чтобы a href="" как мы привыкли) . При этом сами атрибуты, содержащие зашифрованный URL, тоже не намекали на то, что это ссылка, т.е. можно было грешить только на имя класса или подвязывать с сеохой😋
Что сделали?
Переименовали все CSS классы на сайте, которые могут хоть как-то намекать на то, что это ссылка.
И че, какие результаты?
Предварительный результат после внедрения порадовал, но для чистоты эхсперимента нужно было подождать месяцок-другой.
И вот, после контрольного анализа серверных логов могу с уверенностью сказать, что данный подход помог решить задачу.
Googlebot перестал совсем краулить закрытые страницы🙌 Так что:
Выпиливайте из названий CSS классов элементов любые слова-маркеры ссылки, если не хотите, чтобы Googlebot по ним кликал.
📌Напоминаю про бесплатный анализ логов (теперь публикация URL проекта не является обязательным требованием🙌), если кто упустил
Гугл бота собакой назвал?)