Отправка URL Googlebot на индексацию/удаление

Тул шлет запросы через Google Indexing API. Можно выбирать, индексировать или удалять боту URL. Все манипуляции происходят в консоли.

1. Полная Python версия

2. Обрезанная .exe версия 🕎 - без защит от "дураков", выбора режима работы и прочих ништяков (в архиве лежит readme.txt)

Максимальное число запросов в сутки - 200 URL. Это бесплатно, никаких банковских карт для включения конкретно этого API в консоли не требуется. 200 запросов - лимиты Google, я не виноват, но никто не мешает вам сделать несколько API аккаунтов😇

Что делать для запуска полной версии c GitHub❓

1. Качаем мой мутный код с GitHub (ссылка еще раз (https://github.com/drkwng/google-indexing-api)).

2. Выполняем все танцы по получению ключика API Google для отправки запросов, описанные в README на GitHub.

3. Устанавливаем Python 3.8.x или старше на своего резвого коня. При установке обязательно нажимаем галочку возле "Add to PATH".

4. Ставим библиотеку oauth2client. Для этого заходим в консоль/терминал (на Windows: Win + R > cmd) и пишем

pip install oauth2client.

5. Кладем JSON ключ к API в папку с программой и называем его cred.json

6. Даем сервисному аккаунту (что-то такое "xxxxx.xxx.iam.gserviceaccount.com") права !!!ВЛАДЕЛЬЦА!!! ресурсам, URL которых будете отправлять Googlebot'у, в Google Search Console.

Права владельца устанавливаются в разделе Настройки ресурса GCS, нажав на три точки возле текущего владельца.

7. Создаем файл с URL, которые нужно скормить Googlebot. Называем его urls.txt

8. Запускаем программу и общаемся уже с ней по понятиям.

А в справке Google написано... ко-ко-ко

Currently, the Indexing API can only be used to crawl pages with either JobPosting or BroadcastEvent embedded in a VideoObject. For websites with many short-lived pages like job postings or livestream videos, the Indexing API keeps content fresh in search results because it allows updates to be pushed individually. Источник

Т.к. в справке Google всегда правда (дирижабль, ага), я решил проверить, как себя ведет Googlebot, когда мы шлем ему запрос через Indexing API, который работает только с видео, вакансиями и т.д.

1️⃣ Как быстро бот заходит на страницу после отправки запроса через API?
2️⃣ Переходит ли бот по 301 редиректам и цепочкам редиректов при подобной отправке, а именно, междоменным редиректам?

Для этого я взял 10 разных доменов живых сайтов разного уровня, которые уже есть в индексе Google. На каждый сайт залил по 4 .html файла, отправил запросы Googlebot через тул и пошел в серверные логи за ответами.

Как быстро бот заходит на страницу после отправки запроса через API?
На 10 сайтах бот зашел на URL в течение 1 минуты после отправки запроса.

Следует ли бот по внутренним и междоменным редиректам к конечному URL?
На каждом домене на один из html можно было попасть только по редиректной ссылке с другого домена.
Основываясь на логах сервера, Googlebot не перешел ни по одному из междоменных редиректов, хотя заход на "редиректящий" URL был в 100% случаев.

Как далеко в цепочке редиректов зайдет Googlebot?
Дополнительно сгенерил на нескольких доменах цепочки редиректов по 100 шт через .htaccess

Googlebot дошел до 21 URL в цепочке, соответственно, бот может обработать цепочку из 20 редиректов.

Больше про эксперимент тут: https://t.me/drkwng/29 (там еще Yandex и Bing участвовали)

ЧаВо

Не работает, в консоли пишет, что прав нет у сервисного аккаунта, что делать?
Дать нужные права (не полные, а права ВЛАДЕЛЬЦА/OWNER) ресурсу в Google Search Console.

Это же касается и любой другой ошибки, которую вам выплюнет в консоль. 99.9%, что сделали что-то так или забыли установить библиотеку.

! Читаем внимательно пост и README на GitHub

Не могу найти, где в API консоли Google скачать JSON
Google как всегда сделал интуитивный и понятный интерфейс

Выбираете ваш созданный проект в Google Cloud Platform, слева в меню Service Accounts, во вкладке Keys (вверху) нажимаете Add Key -> Create New Key -> JSON.

С радостью приму критику/слова благодарности, отвечу на вопросы.
Всем КРЯ🐣