Вчера писал в телеге про питоновский скрипт, который позволяет выискивать дропы в рушных зона RU/РФ/SU. Вечерочком озадачился его подружанием с действительностью, т.ч с наскока он чота не захотел даваться.
Для парса нужна VPSка как минимум с гигом оперативы, ибо сначала пытался запустить на 512Mb, но скрипт почти сразу отжирал 85% памяти и после того как в какой то момент рандомно упирался в потолок, выходил с ошибкой. Пока не отловил через мониторинг ресурсов в чем дело, не мог понять. Но когда подключил дополнительный своп-файл на пару гигов, все отлично зашуршало, т.ч седня съехал на впску с гигом оперативы где все отлично шуршит.
Делал все под CentOS7, т.ч список команд будет для неё. Работать есессно надо через ssh в консоли сервера.
Ставим третий питон, пип для него и питоновские приблудины.
yum -y update
yum -y install python3
pip3 install requests-html
pip3 install pandasставим гитовскую инсталяху и клонируем скрипт с гитхаба:
yum -y install git
git clone https://github.com/drkwng/domains_search_ruзапускаем сам скрипт:
cd domains_search_ru
python3 main.pyтам надо будет ответить на вопрос на сколько дней вглубь копать, и задать нужные ключики.
на выходе в консоль вывалится список доменов и создастся файло result.csv в текущей директории: это текстовый файл с разделителями, где будет возраст, когда истекает, где регнут.
смотреть конечно можно и через консоль в редакторе vi, но если он объемный, то имхо проще перекинуть на родной комп.
Собсна забрать можно несколькими вариантами:
- если на этом же сервере у вас стоит веб-сервер, то проще всего кинуть в открытую папку сайта и скачать через браузер
- можно забрать по ftp или sftp, причем ftp можно забрать и через браузер если не страшно что украдут пароль от фтп. в браузер просто кидается ссылка ftp://user:pass@IP-Server
- для меня наиболее простой способ кинуть письмом из консоли, с вложением отчета, но для этого надо поставить софт mailx: yum -y install mailx и дать в консоли команду отправки
echo 'Hello! Ghost reportin' | nail -s "Domain Report" -a /root/domains_search_ru/result.csv imail@anchous.infoгде Hello – сообщение
Domain Report – тема письма
/root/domains_search_ru/result.csv – полный путь до репорта в системе
imail@anchous.info – почта на которую отправляется файл с вложением
Единственно, что такая отправка не пройдет ни одну проверку, т.ч дойдет разве только до яхи или вашего ящика, если вы там отключите проверки отправителя (ну или сделаете исключение для конкретного хоста-домена)
З.Ы да, кстати, те штук 20-30 свободных нулевых рушек, что тестово нашел вчера, седня уже ускакали. так что жиза домейнера становится еще туже
6 Комментариев
-
seoonly.ru сказал:
годнота-)
[Reply]
-
Дмитрий сказал:
“но скрипт почти сразу отжирал 85% памяти и после того как в какой то момент рандомно упирался в потолок, выходил с ошибкой” – это потому что ты файлы целиком в память читаешь. Логично, что так оперативку будет жрать очень сильно. Попробуй читать построчно.
[Reply]
-
Руслан сказал:
спасибо за наводку, попробую
[Reply]
-
Alex сказал:
А что с дропами дальше делаешь? Восстанавливаешь из веб архива ?
[Reply]
anchous Reply:
September 22nd, 2023 at 14:03либо восстанавливаю-чищу, либо поднимаю тематический сателлит
[Reply]
anchous Reply:
November 12th, 2021 at 13:22
“я, дяденька, не настоящий сварщик”(с) так что это вопрос к разработчику скрипта
[Reply]