Возникла у меня тут забавная ситуация- есть у меня два мфа под рунет, которые я сделал тестово, чтобы проверить есть ли бабки в не конкурентной нише “некая услуга бесплатно”. Оба сайтика симпотные, из 4-5 страничек, но убогий Яндекс как обычно- схавал в течении 2 апов один домен и отказался индексить второй.
Времени не было, так что я на второй подзабил, поскольку понял, что к сожалению ниша не кликабельная. Но тем не менее, в процессе войны с Яндексом, добавил их оба в Вебмастер.
8 апреля я обнаружил в Яндекс.Вебмастер, надпись о том, что возникла проблема с индексацией домена, так как робот не может получить доступа к сайту. Через чекалку вебмастера “ответ сервера” я проверил отклики сайта, но все говорило, что работает нормально. В итоге, после очередного апдейта выдачи от 9 апреля, я обнаружил что сайт мне деиндекснули.
Естественно что я тут же отписался в суппорт Яндекса с вопросом WTF?! На что мне, через пару дней как водится, ответили, что с 15.03 !!!!! их основной робот с IP 100.43.83.161 не может получить доступ к сайту. То есть робот три недели не мог проиндексировать сайт, после чего мне было выведено сообщение о каких то проблемах.
В общем пошел в свой хостинг и написал, что так и так- вот IP. На что суппорт мне мгновенно ответил, что да- этот IP сидит в бане хостинга, так как реально заколебал всех- ибо забивает канал и грузит серваки запросами, за что был наказан баном.
Но что самое интересное- у меня из 40+ доменов, хостящихся на этом хостинге, деиндекснули только один домен- остальные этого даже не почувствовали, причем с них постоянно появлялись в поиске новые страницы. К тому же у друга, который тоже хостится на этом же хостинге, тоже деиндекснули сайт фирмы жены.
Так что довольно забавный момент работы краулера Яндекса, так как про проблему того что их бот грузит сервера хостинга, я слышу не первый раз, причем банят его не только на американских хостингах, где про Яндекс никто слыхом не слыхивал, но даже и на российских. Но больше всего меня конечно порадовала оперативность разрешения проблемы, так как в данный момент борюсь с пандой на одном домене, так что закрываю от индексации страницы, так что в течении 3-4 дней гугль присылает тревожные письма что почему то не может получить доступа к тем или иным страницам.
Один комментарий
-
pikasso сказал:
Схожая ситуация…бот от Яшки перенагружал хостинг сайта…мне клиенты писали посмотрите – разберитесь…
[Reply]