Пришлось вчера для клиента, чей вебмастер в очередной раз профуфыкал мои рекомендации, составлять кошерный robots.txt. Основная бяда, что сайт клиента хостится на чудо-CMS Bitrix, разработанной любителями лего из 1C.
До момента встречи с этим клиентом, я по наивности полагал Joomla самым головняком для сеошнега, за то, что криво настроенная Joomla генерит дубли контента, которые мешают как работе, так и продвижению, но начав ковыряться с Bitrix, оказалось что это еще больший головняк, так как в ней дубли лезут вообще из всех щелей.
То есть люди напрудили по 5-10 дублей большей части продвигаемых страниц и на просьбы что то с этим сделать, разводят руками, что это не мы- это все файл index.php
Пришлось посмотреть где эта прекрасная CMS дублит, в результате чего родился такой талмудЪ:
Disallow: /*ELEMENT_ID*
Disallow: /*SHOWALL*
Disallow: /*PAGEN*
Disallow: /search
Disallow: /*search.php*
Disallow: /*/search
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*?PAGEN
Disallow: /*?PAGEN_*=
Disallow: /*SHOWALL
Disallow: /*show_all=
Disallow: /?sphrase_id=*
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*index.php$
в идеале бы конечно все это еще запупырить каким то образом в метатегах, но откровенно говоря, разбираться, не видя админки самой CMS, желания у меня не было, так что пока ограничился данными изысками, предложив клиенту самому поковырять сайтец на предмет настроек и организации рерайтов, так как каталог также создавал дубли на основе продукции site.ru/catalog/XXXX/?big=Y VS site.ru/catalog/XXXX/
Теоретически должно было сработать что то типо такого правила
RewriteEngine On
RewriteCond %{QUERY_STRING} ^big=Y
RewriteRule ^(.*)$ /$1? [R=301,L]
но чота хз, тестить было не охота
Один комментарий
-
Ксения сказал:
Спасибо огромное за талмуд! Мегаполезная статья.
Прекрасная ЦМС, с которой мне, по счастью, не доводилось иметь дела годами, действительно наделала дублей. Попались мне пока только Pagen и element_id, но ради сохранности нервов внесу в роботс все возможные варианты.
Битрикс это боль. Спасибо Вам за обезбол.[Reply]