UPD: Тул для работы с Search Console API (Search Analytics, URL Inspection, Indexing API)

 Публичный пост
16 февраля 2022  210

Большая... Нет, БОЛЬШАЯ ОБНОВА Google Search Console API тула😲

>>> Я ССЫЛКА НА GITHUB, НЕ БОЙСЯ МЕНЯ <<<

Что внутри❓

  1. Пакетная проверка статуса индексации URL в Google и ряда других параметров прицепом (запрет в robots.txt, дату последнего краулинга, каноничная страница по версии Google и директивы на сайте, результат прохождения теста на удбство для мобильных). По лимитам можно париться только для каких-то реально больших объемов.

2. Выгрузка всех ключевых фраз с их показателями за 16 месяцев (ограничение Google) из Search Console. Это старый тул с канала, но с переработанной логикой и, божечки, нормальной авторизацией (А вы думали, что до пенсии будете вводить в консольке код подтверждения? - Вот и не угадали!)

  1. Выгрузка данных с любыми разбивками из отчета Perfomance Google Search Console за любой период (максимум 16 месяцев, ограничение Google).

  2. Всем известный тул отправки URL Googlebot через Indexing API, который все устали таскать в зубах, на апдейт или удаление URL. Теперь переписан под batch запросы, что означает "до x100" к скорости отправки запроса (все тот же лимит в 200 запросов на акк, но теперь запросы шлются пакетно по 100 шт.)

Дальнейшие обновления тула будут происходить только в этом репозитории.

Короче, теперь у нас тул 3 в 1, как у Саши Серой


⚠️Обязательно читаем README.md на GitHub перед запуском.

Если коротенечко совсем, то:

  1. пишем в терминале: pip install --upgrade google-api-python-client, google-auth-oauthlib, google-auth
  2. делаем себе OAuth client ID ключик в Cloud Console и кладем в папку (вы должны иметь Owner права для отправки запросов).
  3. запускаем программу (но лучше прочитайте README📖)

Остальные изменения:

  1. Гибкий код на классах, которые легко встраивать в свою программу и кастомизировать (все пользовательские функции вынесены из классов, как и должно было быть с самого начала).
  2. Простая OAuth авторизация - теперь никаких кодов подтверждения или сервисных аккаунтов, которым нужно было давать какие-то права дополнительно. Зашли по ссылке, авторизовали приложение и погнали покорять топы Google, лол.
  3. Нормальное логирование запросов (логи запросов пишутся в .log файл в папочке "logs")
  4. Ответы на запросы к API в читабельной форме пишутся в .csv файлы в папке "results".
  5. Переписана полностью логика запуска и взаимодействия с программой. Все проще и удобнее.

Я очень старался, честно. Налетайте и не забудьте описать в комментах свой опыт, хотелки, замечания. Я буду счастлив как маленькая японская школьница. Возможностей у тула сильно больше, но я немного упростил логику в main.py, чтобы удовольствие получили все💘

Всем Кря!🦆

P.S. Пару HowTo скринкастов в помощь:

1️⃣ Как создать проект и активировать API в Google Cloud Console
1️⃣ Как создать проект и активировать API в Google Cloud Console

2️⃣ Как создать OAuth Client ID, если вы это делаете впервые
2️⃣ Как создать OAuth Client ID, если вы это делаете впервые

UPD к шагу 2 - test user нужно добавить email на 3 шаге создания oauth  consent
UPD к шагу 2 - test user нужно добавить email на 3 шаге создания oauth consent

Аватар Drkwng Dck
Drkwng Dck @drkwng
Chief Executive DuckDrkwng Inc.
📍Одесса, Украина
Команда Клуба

<!-- Self Promo -->

Чирик🐣
Пишу сюда (иногда годноту по версии моей мамы):
https://t.me/drkwng

🤘Тулы для вебмастеров, аналитика, dummy text...

Мамкин муркетолог / Папкин дата ссаентист / Бабкин филантроп и миллиардер

<!-- ./Self Promo -->

Связанные посты
5 комментариев 👇
Drkwng Dck , Chief Executive Duck Команда Клуба автор 18 февраля в 13:43

Небольшой апдейт тула:

Че нового?

  1. Модуль "gsc_api/keywords.py" теперь называется "gsc_api/search_analytics.py" не просто так. Когда запускаете программу, можно задать:

🔸Параметры разбивки (dimensions). Т.е. можно выгружать метрики не только с разбивкой по запросам, но и по странам, устройствам, целевым страницам и пр. Полный список встретит вас в консольке при запуске main.py
🔸Период времени для забора данных, выраженный в месяцах (от 1 до 16). Не нужны данные годичной давности? No problem!

  1. Поправил логирование и пару мелких багов. Теперь в лог попадает меньше служебного мусора.

  2. Пофиксил самый из неприятных багов - ошибку записи в CSV файл при пакетной проверке статуса индексации URL. Сорян, недостаточно потестил перед релизом, теперь там все🔥

Так что качаем обновленную версию и наслаждаемся своим доминированием над теми, кто не скачал👯

  Развернуть 1 комментарий

Тул может и интересный, но не все питон знают и тд. Добавьте развернутый мануал по установке с нуля и может видео обзор инструмента.
Спасибо.

  Развернуть 1 комментарий
Аватар Drkwng Dck Drkwng Dck 21 февраля в 15:54 автор Команда Клуба

@sonar4ik, Так на GitHub README подробный достаточно. Там пару команд в консоли запустить по инструкции, и готово.

Видео будет, когда-нибудь...😑 Внизу поста скринкасты-руководства по созданию API ключа в Cloud Console. Пока так

  Развернуть 1 комментарий

@drkwng читал, вроде все просто, но п.2 Install packages:

pip install --upgrade google-api-python-client, google-auth-oauthlib, google-auth

не прошел)

  Развернуть 1 комментарий
Аватар Drkwng Dck Drkwng Dck 21 февраля в 16:13 автор Команда Клуба

@sonar4ik, кинь в drkwng_chat в телеге скрин консоли (одним сообщением, пожалуйста) при выполнении команды и переведем разбор туда, чтобы не апать тему бесконечно

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб