Пришел тут клиент в поиске 50 тысяч IPv6 прокси для парсинга Инстаграм. Я конечно немного припух от заявленного количества, но, как говорится, за ваши деньги любой каприз.
Стали считать по нагрузке, выяснилось, что не ниже выделенного гигабита. Ну и сервер соответствующий.
Пока перетирал с разными дата-центрами на счет соответствия наличия, за вменяемые деньги, /32 сетки и гигабитного канала (поскольку все основные продаваны IPv6 это всякие впссёла и иже с ними), решил найти админа под это дело. Не то чтобы я сам не мог поднять, но поскольку максимум, что я выкатывал на одной впске, было около 5-7к проксей, то не хотелось тратить время на изучение тонкости мастерства. Тем более что это можно было решить за приемлемые деньги.
Так что я пробежался по серчевским-зисмовским темам в поиске админов, ну и нашел несколько человек, кто либо комментил треды со знанием дела, либо вообще рассказывал, что выкатывал в прод десятками килопрокси.
И вот тут началась лютая ржака. Особенно ввиду того, что у многих админов присутствует комплекс бога, т.ч с тобой разговаривают урывками (то есть вася может просто выпасть из диалога на несколько часов) и через губу. Особенно если чуют что ты нубас и пытаешься вызнать, что конкретно получишь и как это все будет. Ну до передачи 50-100 баксов, т.к тяп-ляп ты и сам можешь настроить.
Так вот, оказалось что человеки, с рассказами про килотонны прокси в анамнезе, не тюнингуют ядро системы. Даже удивляются нубскому вопросу, анахуа-хуа все и так отлично работает? Тут есть маленький нюанс, что с дефолтными настройками линя, норм шуршит разве тока 6-8к, дальше у тебя все будет работать сильно через жопу, с бесконечными 502 ошибками, либо вообще встанет колом.
Другие спецы считали, что можно вот так взять и поднять 50 тыщ айпишек на интерфейсе. Или то что, соксы одинаково настраиваются, что для IPv4 и IPv6. То есть под данте они может и одинаково настраиваются, но вот под 3proxy, про который велась речь, если ты просто тупо скопируешь конфиг, поменяв выходняки на IPv6 – у тебя вообще ничего работать не будет. От слова совсем. То есть человек, утверждающий что так все просто – ни разу соксы не поднимал. Да и то, если поднять правильно, соксы под 3proxy будут работать весьма специфически, и для незаточенного под это дело софта – через жопу, просто по причине специфики самого продукта.
Причем самый прикол, что когда пытался получить ответ от разработчика – ответы были в стиле ценебага-цефича, и чтобы все заработало правильно мышки должны стать йожыгами.
Потом уже, в процессе настройки, выяснилось, что помимо тюнинга ядра, есть еще куча фич, повышающих производительность, вроде подбора специальных многопоточных сетевух, чьи прерывания можно раскидать по разным ядрам процессора, тонких настроек самой карты и сетевого стека.
Это не говоря про пляску с бубнами, которая вскрылась, когда оказалось что протокол обнаружения соседей ведет себя в обычной сети как дудосика, рассылая зачем то мультикаст по сетку, чем довольно быстро приводит сетевое оборудование cisco в состояние охуячки. Так что все пришлось все заводить через виланы.
Но вообщем, как и в ситуации с SEO, оказалось что форумно-бложное раздувание щек, не является гарантом того, что человек реально понимает о чем толкует, ибо может статься, что в топ10 он продвинул горячие туры в саранске. Что конечно доставило массу лулзов, но и отняло дофигища нервов и времени, т.к за пять дней, что запускал сервер в прод, отработал где то под 80 часов, под конец ненавидя уже весь белый свет.
Зато можно любоваться такой вот картинкой
Через несколько недель работы, владельца дата-цетнра пригласили на какую то конфу по IPv6, т.к мы выжигаем ему где то 5-6% от общероссийского трафа через М9