Искалка дроп доменов в.RU/.SU/.РФ зонах

 Публичный пост
10 ноября 2021  944
ОХУЕННО
Искалка дроп доменов в .RU/.SU/.РФ зонах

Сегодня у нас искалка освобождающихся доменов в .RU/.SU/.РФ зонах

— Почему только в этих зонах? - спросите вы.
— Потому что это изи, есть уже постоянно обновляемая база со всеми доменами в этих зонах в открытом доступе. - отвечу я.
— Хватит томить! - скажете вы.

Тул для парсинга освобождающихся доменов по заданным критериям (дней до free date, вхождение в доменного имени запроса). На коленке, как положено🐣

Подробнее описал в TG.

На борту должен быть Python 3.8.x и выше. Рекомендую ставить Anaconda, а также библиотеки requests-html и Pandas.

Качаем к себе все 3 файла, запускаем main.py и следуем инструкциям в консоли.

Для запуска вам понадобятся библиотеки requests-html и Pandas. Пишем в консоли:
pip install requests-html, pandas

❓Как работает / Что умеет❓
1. Скачивает GZ архивы с данными, распаковывает и парсит в общий CSV.
2. Если обнаружен в папке полученный ранее CSV файл, программа предложит не тратить время на повторное скачивание и работать со старым CSV.
3. Вытягивает из CSV домены, которые соответствуют заданным критериям поиска:
- Количество дней до free date - даты, когда домен освободится и его можно будет купить
(не совсем, нужно еще -3 дня от free date для регистрации, выяснил опытным путем)
- Вхождение слова в доменное имя или соответствие регулярному выражению
4. Бонусом подсчитывает возраст домена в днях с момента его регистрации.
5. Записывает найденные домены в отдельный CSV


Буду рад как маленькая небинарная девочка вопросам / предложениям / баг репорту😘


UPD от EFS

для тех у кого "лапки"
перепаковано в виде исполняемого файла под винду (под капотом по сути самораспаковывающийся архив, содержащий нужную версию питона с необходимыми модулями и запускающий на выполнение скрипт), но для ваc эта магия за кадром. оно просто работает под виндой. при первом запуске чуть тупит, при последующих уже будет запускаться быстро.

в скрипте заменил requestshtml на обычный requests (но даже он избыточен, для той задачи, что там выполняется. но тупо лень открывать доку, как это при помощи urllib сделать. но так или иначе, это минус ~5мб от размера. кек)

забирать тут
з.ы. сраному яндексу не нравится упаковщик и оно галдит на архив
з.з.ы особо параноящие, могут проверить файл на вирустотале, нормальные системы там ничего не находят (ну дык, хорошо поклеил. лол)

UPD от Алексеич

Анчоус тут затестил инструмент и добавил инфы "как запустить"
http://www.anchous.info/pitonovskaya-tulza-dlya-poiska-dropov/

Аватар Drkwng Dck
Drkwng Dck @drkwng
Chief Executive DuckDrkwng Inc.
📍Одесса, Украина
Команда Клуба

<!-- Self Promo -->

Чирик🐣
Пишу сюда (иногда годноту по версии моей мамы):
https://t.me/drkwng

🤘Тулы для вебмастеров, аналитика, dummy text...

Мамкин муркетолог / Папкин дата ссаентист / Бабкин филантроп и миллиардер

<!-- ./Self Promo -->

Связанные посты
43 комментария 👇

Вопрос знатокам, а есть такой ресурс, где рядом с освобождающимся доменом стоят данные не обозначающие погоду на луне, а хоть как-то связаны с фактическими данными...напрягает радомно лопатить выдачу на mydrop или например expired...про другие я вообще говорить не хочу

Аватар Drkwng Dck Drkwng Dck 16 ноября 2021 автор Команда Клуба

@igoris_p, Нет🥲 А какие фактические данные интересуют, которые помогут принять решение, можно примеры?
Про пузомерки сервисов согласен - дичь это. Но помогает подбить разноплановые данные под один показатель, так проще для кожаных мешков🙃

  Развернуть 1 комментарий

@drkwng, ну как жеж...по ahrefs конечно))
тем более почти у всех сервисов какбэ показаны данные именно DR и PR и даже порой ссылки в каком объеме...но с фактическими данными не имеют ничего общего...причем бессвязно и бессистемно. по какому бы ты параметру не фильтровал ничего ты полезного не получишь.
в моей сфере вообще жирных дропов не найти. я подбираю дроп с историей в несколько лет и с версткой чтоб хотя бы глаз не дергался... поднимаю, восстанавливаю и клею через прокладку из новорега к нему дроп с хорошим DR и PR пусть даже не по теме...через сколько-то времени DR всех сателлитов, назовем их так, плюсуются и прилипают к целевому сайту. даже если у доноров и была какая-то тошнота в истории, то через прокладку не пройдет

  Развернуть 1 комментарий

@drkwng, и да...backlink checker мой основной штрумент в этом нелегком деле, т.к. он халявный, а дело знает....хотя, кому я рассказываю, все и без меня такую элементарщину знают))

  Развернуть 1 комментарий

@igoris_p, А прокладку сквозняком делаете, сразу тоже всё через 30...?

А DR вряд-ли кто сделает вменяемый - дорого получится слишком.

  Развернуть 1 комментарий

@AlexBO, не, я же написал, что через прокладку новорег, чтоб быть увереным, что он точно без темных пятен на репутации. получается несколько дропов с ранками 301-м редиректом на один, а с него уже на целевой. Ранки проссумируются на целевом.

  Развернуть 1 комментарий

@igoris_p, Да-да, спс. Я уже понял из ответа, что и как. Просто я имел ввиду - сначала наливаете на новорег (с какой-то уник мордой по тексту) и через некоторое время, когда нальете - новорег отправляете на сайт. Но вы указали, что сразу.

И вот сейчас отправил на тест пачки вашим способом (темат и не темат), ибо последний ап клея, ну не должен пропускать такое, может что изменилось уже, нужно срочно оттестировать.

  Развернуть 1 комментарий

@AlexBO, ну хз по поводу апов склейки, буквально пару недель назад DR стал с 1 до 31...пару говнодропов с высоким DR и несколько приличных дропов с низким DR склеил 301 с новорегом и новорег склеил с целевым...гдет месяц ничего не происходило, хотя ссылочный профиль изменился, потом резко DR стал 30 (или 31 могу напиздить), т.е. проссумировался

  Развернуть 1 комментарий

@igoris_p, С DR и циферками всё ок, они переедут, я о ПС (гулг особенно) говорю.
Если гугла будет опускать такие клеи, смысл с этих циферок? С них даже ссылки не продашь.
Вот я и хочу проверить будет-ли гугл негатив переносить через прокладку дальше.

Правда я рано закинул тесты, пришлось стопнуть быстро, хорошо, что на индекс пока не отправил - ибо ап хоть и зафиксен сейчас, но индекс почти стоит, сейчас отправлять что-то смысла нет, всё уйдет в очередь и вообще может быть не просканировано в итоге, после начала работы индекса.

Нужно ждать .пока индексатор снова заработает после апа.

  Развернуть 1 комментарий

@igoris_p, Спасибо за идею по подклейке. Как то через прокладку ни когда не экспериментировал.

  Развернуть 1 комментарий

@AlexBO, меня пока не опустило...да и не думаю, что это возможно. в методичке ПС ведь прямо советуют при переезде подклеивать домен, как они могут отсеять "недобросовестную" подклейку

  Развернуть 1 комментарий

@Fanatic, это идея какого-то серьезного дядьки на серьезной СЕО-конфе...он советовал так делать, чтобы санкции домена не перепрыгивали на целевой. как он объяснил санкции дальше первого редиректа не уходят

  Развернуть 1 комментарий

@igoris_p, Гугл вроде до 6 редиков ходить может, попробую поэкспериментировать с редиректными трамплинами. Авось на 6 редике в самый топ.

  Развернуть 1 комментарий
Аватар Drkwng Dck Drkwng Dck 25 ноября 2021 автор Команда Клуба

@Fanatic, Для Googlebot ставил очень изолированный эксперимент по цепочкам редиректов, может полезно будет: https://t.me/drkwng/29 Но это не междоменный, а внутри домена, сразу оговорюсь

  Развернуть 1 комментарий

@igoris_p, Спасибо тебе большое добрый человек. 12 тестов кинул - 9 уже сработали в плюс - подтверждаю работу метода.

Теперь надо тестить не один, а 2-3 новорега по пути, вообще гуглом, или usa.gov выйду на сайт с последнего новорега :)

  Развернуть 1 комментарий

@AlexBO, ну, спасибо - это слишком много...с получки отдашь)))

  Развернуть 1 комментарий

@AlexBO, Зачем 2-3 новорега по пути, если и так работает?

  Развернуть 1 комментарий

@Vincent, Оно может в длительной перспективе отработать в минус. А так чтобы быть уверенным что санкции не пройдут :):):):)
Запустил пару тестов но пока результаты неоднозначны.

  Развернуть 1 комментарий
Артем Кравченко , интернет-предприниматель 30 ноября 2021

Приветствую, уважаемые! Может кто подскажет как фильтрануть список доменов в экселе по 50-100 масок. По одному слову фильтровать - пальцы устают) Видел подобное решение, но у меня что то не заработало.
https://semtools.guru/ru/finding-tools/find-words-in-excel/find-word-in-cells/#Poisk_po_neskolkim_slovam

  Развернуть 1 комментарий

@pe4a2006, ох, там десяток строк на VBA, но чтобы вы могли использовать эти строки в любом файле как надстройку, надо немного времени потратить мне.

Либо могу вам просто дать не гибкий код, но с условиями, что вы будете исполнить код, когда курсор находится в столбце, в котором ищем.

  Развернуть 1 комментарий
Аватар Drkwng Dck Drkwng Dck 30 ноября 2021 автор Команда Клуба

@pe4a2006, Я делаю через регулярку и построчно считываю файл на Python.
Напиши в TG (@drkwng_dck), если до завтра подождет, помогу

  Развернуть 1 комментарий
Аватар Drkwng Dck Drkwng Dck 1 декабря 2021 автор Команда Клуба

@pe4a2006, https://t.me/drkwng/55 - хоп, лови тул

  Развернуть 1 комментарий

@drkwng, Бибма, благодарю!

  Развернуть 1 комментарий
Алексей Алексеич , СЕО Команда Клуба 11 ноября 2021

Анчоус тут затестил инструмент и добавил инфы "как запустить"
http://www.anchous.info/pitonovskaya-tulza-dlya-poiska-dropov/

  Развернуть 1 комментарий
Аватар Drkwng Dck Drkwng Dck 11 ноября 2021 автор Команда Клуба

@alexeich Уже не первый раз растаскивают тулы без авторства, ну этот хоть за свое не выдает. Ох уж эти интырнэты😑 Мучался долго чувак, а мог написать спросить просто))

  Развернуть 1 комментарий

@drkwng, Анчоус в первом (это второй выше) посте давал ссылку на твой гитхаб и писал "нашёл в интернете", авторство себе не приписывая.

По поводу "мучился долго" - ну, это уже се ля ви) Я Анчоуса в Клуб давно приглашал)

  Развернуть 1 комментарий

Может в докер завернуть, чтобы с инсталлами не мучаться?

  Развернуть 1 комментарий
Аватар Drkwng Dck Drkwng Dck 11 ноября 2021 автор Команда Клуба

@glader, Можно завернуть в докер, можно вообще залить на сайт и отдавать всем вопрошающим ответ, но ленивый сеошник так и останется ленивым и не решится разобраться с тем, в чем ему очень хорошо бы разбираться в 2021 :)

Вот элементарный пример: https://spiskin.ru/ - вроде удобный сайт для сеошника/ppc или еще кого-то подобного, которые не умеют в Excel тот же (а таких много, я сам джунам гундел постоянно про это в команде). Только вот не будет сеошник учиться что-то подобное сделать (в своем большинстве) своими руками, пока на столе у него будет все готовое лежать. Как следствие, будет сильно ограничен в своих возможностях и будет мяться возле отдела разработки с хотелками школьного уровня или ебсти мозг тем же разрабам (но скорее всего просто забьет).

У тулов с канала другой формат - там все делается на коленке и быстро (всрато и быстро). Плюс я сам нуб еще тот, поэтому никого не учу, а показываю, что можно и так.

  Развернуть 1 комментарий

@drkwng, Сеошник не ленивый а эффективный, когда ты ставишь много задач на разработчиков, копирайтеров и дизайнеров. То работодатель или заказчик видит что работа кипит и ты при деле, таски летают туда сюда. И вообще я за узкую специализацию.

  Развернуть 1 комментарий
Аватар Drkwng Dck Drkwng Dck 15 ноября 2021 автор Команда Клуба

@Qwazimodo, если бы SEO специалисты были продуктивными все, то мы бы растили уже 🍁 на Марсе. В своей массе как раз обычно наоборот, увы

  Развернуть 1 комментарий

Тулза огонь! Мое почтение)
на сколько больше секса в бурже EN/ EU? реально ли запилить?

  Развернуть 1 комментарий
Аватар Drkwng Dck Drkwng Dck 15 ноября 2021 автор Команда Клуба

@picklerick, Да, реально. На самом деле можно хоть сейчас взять базы с https://domains-monitor.com/, мой тул и начать искать. Если будут трудности, пиши. Из проблем, которые могут возникнуть вижу только:

  1. Другой формат исходного файла (скорректировать 5 минут, знаний особых не требуется)
  2. Большой объем информации на входе и нехватка ресурса для обработки (решается очень быстро тоже через построчное считывание или разбивку на фрагменты файла - тоже изи доработать)
  Развернуть 1 комментарий

@drkwng, отлично, спасибо! завтра буду тестить)

  Развернуть 1 комментарий

@picklerick,Привет, у вас получилось? тоже интересно как это запилить без особых знаний в питоне

  Развернуть 1 комментарий

@Xname, нет, взял доступ к https://domains-monitor.com/, разбил выгрузки пингвином https://x-parser.ru/software/9-penguin-keywords-tools.html на 200к -250к и через https://foxwhois.com/en/ (full) чекаю

  Развернуть 1 комментарий

Мы даем ценность, да. Эксперт точно не я - это мне и так было понятно, тк наши данные точно нельзя назвать "небольшими дополнениями" :-)

Вот пример нашей боевой выгрузки.

Выгрузка по освобождающимся доменам за 2021-11-16 - 2021-11-18

https://dropstat.ru/results/export6191df0180ae6.csv

  Развернуть 1 комментарий
Аватар Drkwng Dck Drkwng Dck 15 ноября 2021 автор Команда Клуба

@abukreev, красивое

  Развернуть 1 комментарий
EFS , доргейщик 28 ноября 2021

для тех у кого "лапки"
перепаковано в виде исполняемого файла под винду (под капотом по сути самораспаковывающийся архив, содержащий нужную версию питона с необходимыми модулями и запускающий на выполнение скрипт), но для ваc эта магия за кадром. оно просто работает под виндой. при первом запуске чуть тупит, при последующих уже будет запускаться быстро.

в скрипте заменил requests_html на обычный requests (но даже он избыточен, для той задачи, что там выполняется. но тупо лень открывать доку, как это при помощи urllib сделать. но так или иначе, это минус ~5мб от размера. кек)

забирать тут
з.ы. сраному яндексу не нравится упаковщик и оно галдит на архив
з.з.ы особо параноящие, могут проверить файл на вирустотале, нормальные системы там ничего не находят (ну дык, хорошо поклеил. лол)

  Развернуть 1 комментарий
Аватар Drkwng Dck Drkwng Dck 29 ноября 2021 автор Команда Клуба

@realefs, Ее🤜🤛
urllib - да, согласен. На requests привычнее как-то просто. Стараюсь новые штуки делать более компактными уже, не перегружая сторонними библиотеками, чтобы это добро в будущем проще поднимать на сервере. Через pyinstaller бинарник делал? К сожалению, победить на коленке ругательства на вирус не получится как раз из-за механизма "архива, который распаковывается при запуске"((

  Развернуть 1 комментарий

@drkwng, да, pyinstaller. но что интересно, всякие касперские с прочими нодами, молчат (хотя обычно у них аллергия на упаковщики и селфэкстракты)
есть вариант портабл петухона и туда нужные модули и скрипт засунуть. и батник "жми меня", который стартанет питон со скриптом. но это для конечного пользователя с "лапками" уже сложней, чем "однокнопочное" решение
з.ы. если совсем скучно будет, может перепилю это дело с интерфейсом (tkinter), чтобы прогрессбары и прочие свистоперделки

  Развернуть 1 комментарий
Drkwng Dck , Chief Executive Duck Команда Клуба автор 10 ноября 2021

И да, ru - не такой секс как com/net, но и Вапнярка не сразу строилась. Встретил в интернетах, что один эхсперд барыжит такой датой (с небольшими дополнениями) и вскипело сзади.

  Развернуть 1 комментарий

😱 Комментарий удален его автором...

  Развернуть 1 комментарий

Так может там ценность именно в тех самых небольших дополнениях?

  Развернуть 1 комментарий
Аватар Drkwng Dck Drkwng Dck 15 ноября 2021 автор Команда Клуба

@abukreev, Может быть, а может и нет. Даёте ли ценность на те деньги, которые просите? Нуу, я не знаю. Это же ru tld. Если есть те, кто платят вам стабильно (есть такие?), значит даёте, иначе бы не платили.

Могу успокоить, что эхсперд - не вы. Там чел спарсил в csv, накинул траста и спама🤦 и начал продавать базу. Но в целом сеошная традиция ориентироваться на очень странные и оторванные от реальности пузомерки сильно печалит.

  Развернуть 1 комментарий
Drkwng Dck , Chief Executive Duck Команда Клуба автор 30 ноября 2021

😱 Комментарий удален его автором...

  Развернуть 1 комментарий

😎

Автор поста открыл его для большого интернета, но комментирование и движухи доступны только участникам Клуба

Что вообще здесь происходит?


Войти  или  Вступить в Клуб