Сегодня у нас искалка освобождающихся доменов в .RU/.SU/.РФ зонах
— Почему только в этих зонах? - спросите вы.
— Потому что это изи, есть уже постоянно обновляемая база со всеми доменами в этих зонах в открытом доступе. - отвечу я.
— Хватит томить! - скажете вы.
Тул для парсинга освобождающихся доменов по заданным критериям (дней до free date, вхождение в доменного имени запроса). На коленке, как положено🐣
Подробнее описал в TG.
На борту должен быть Python 3.8.x и выше. Рекомендую ставить Anaconda, а также библиотеки requests-html
и Pandas
.
Качаем к себе все 3 файла, запускаем main.py и следуем инструкциям в консоли.
Для запуска вам понадобятся библиотеки requests-html и Pandas. Пишем в консоли:
pip install requests-html, pandas
❓Как работает / Что умеет❓
1. Скачивает GZ архивы с данными, распаковывает и парсит в общий CSV.
2. Если обнаружен в папке полученный ранее CSV файл, программа предложит не тратить время на повторное скачивание и работать со старым CSV.
3. Вытягивает из CSV домены, которые соответствуют заданным критериям поиска:
- Количество дней до free date - даты, когда домен освободится и его можно будет купить
(не совсем, нужно еще -3 дня от free date для регистрации, выяснил опытным путем)
- Вхождение слова в доменное имя или соответствие регулярному выражению
4. Бонусом подсчитывает возраст домена в днях с момента его регистрации.
5. Записывает найденные домены в отдельный CSV
Буду рад как маленькая небинарная девочка вопросам / предложениям / баг репорту😘
UPD от EFS
для тех у кого "лапки"
перепаковано в виде исполняемого файла под винду (под капотом по сути самораспаковывающийся архив, содержащий нужную версию питона с необходимыми модулями и запускающий на выполнение скрипт), но для ваc эта магия за кадром. оно просто работает под виндой. при первом запуске чуть тупит, при последующих уже будет запускаться быстро.
в скрипте заменил requestshtml на обычный requests (но даже он избыточен, для той задачи, что там выполняется. но тупо лень открывать доку, как это при помощи urllib сделать. но так или иначе, это минус ~5мб от размера. кек)
забирать тут
з.ы. сраному яндексу не нравится упаковщик и оно галдит на архив
з.з.ы особо параноящие, могут проверить файл на вирустотале, нормальные системы там ничего не находят (ну дык, хорошо поклеил. лол)
UPD от Алексеич
Анчоус тут затестил инструмент и добавил инфы "как запустить"
http://www.anchous.info/pitonovskaya-tulza-dlya-poiska-dropov/
Вопрос знатокам, а есть такой ресурс, где рядом с освобождающимся доменом стоят данные не обозначающие погоду на луне, а хоть как-то связаны с фактическими данными...напрягает радомно лопатить выдачу на mydrop или например expired...про другие я вообще говорить не хочу
Приветствую, уважаемые! Может кто подскажет как фильтрануть список доменов в экселе по 50-100 масок. По одному слову фильтровать - пальцы устают) Видел подобное решение, но у меня что то не заработало.
https://semtools.guru/ru/finding-tools/find-words-in-excel/find-word-in-cells/#Poisk_po_neskolkim_slovam
Анчоус тут затестил инструмент и добавил инфы "как запустить"
http://www.anchous.info/pitonovskaya-tulza-dlya-poiska-dropov/
Может в докер завернуть, чтобы с инсталлами не мучаться?
Тулза огонь! Мое почтение)
на сколько больше секса в бурже EN/ EU? реально ли запилить?
Мы даем ценность, да. Эксперт точно не я - это мне и так было понятно, тк наши данные точно нельзя назвать "небольшими дополнениями" :-)
Вот пример нашей боевой выгрузки.
Выгрузка по освобождающимся доменам за 2021-11-16 - 2021-11-18
https://dropstat.ru/results/export6191df0180ae6.csv
для тех у кого "лапки"
перепаковано в виде исполняемого файла под винду (под капотом по сути самораспаковывающийся архив, содержащий нужную версию питона с необходимыми модулями и запускающий на выполнение скрипт), но для ваc эта магия за кадром. оно просто работает под виндой. при первом запуске чуть тупит, при последующих уже будет запускаться быстро.
в скрипте заменил requests_html на обычный requests (но даже он избыточен, для той задачи, что там выполняется. но тупо лень открывать доку, как это при помощи urllib сделать. но так или иначе, это минус ~5мб от размера. кек)
забирать тут
з.ы. сраному яндексу не нравится упаковщик и оно галдит на архив
з.з.ы особо параноящие, могут проверить файл на вирустотале, нормальные системы там ничего не находят (ну дык, хорошо поклеил. лол)
И да, ru - не такой секс как com/net, но и Вапнярка не сразу строилась. Встретил в интернетах, что один эхсперд барыжит такой датой (с небольшими дополнениями) и вскипело сзади.
Так может там ценность именно в тех самых небольших дополнениях?
😱 Комментарий удален его автором...