Описанная в кейсе история произошла в конце 2017 года, хотя написать об этом я решил только сейчас. В нашу компанию обратился за помощью владелец сайта по продаже рюкзаков с просьбой увеличить позиции и трафик. После проверки ресурса была замечена нестандартная ситуация: по части целевых запросов сайт не ранжировался вообще, а по другой части запросов сайт занимал одни из верхних позиций ТОПа.
Подобная ситуация распространялась даже на смежные запросы по странице, это видно из скриншота. Одной из особенностей было «мигание» позиций, когда на непродолжительное время сайт появлялся в выдаче по какому-нибудь запросу и потом снова пропадал. Такие запросы обозначены красным цветом на скриншоте.
Проблем с индексацией страниц при этом не наблюдалось — все они находились в индексе, но тем не менее сайт по целевым запросам не ранжировался.
Подозрение на аффилиат-фильтр появилось сразу, я одновременно начал работы по проверке и задал вопрос с описанием проблемы в службу поддержки Яндекса.
Служба поддержки Яндекса не помогла
Платон был в своем репертуаре и посоветовал улучшать релевантность.
И даже после того, как я обозначил нестыковки, которых ну никак не должно было быть при проблеме с релевантностью, ответ техподдержки не изменился: проблема все равно в релевантности ¯\_(ツ)_/¯.
Честно сказать, до этого случая у меня не было большого опыта общения с техподдержкой Яндекса, поэтому я допустил ряд ошибок, которые явно вижу сейчас. Возможно, мой опыт будет кому-то полезен.
- Я написал раньше, чем появились дополнительные данные, по сути, кроме позиций ничего не было. Как минимум в подобных вопросах нужно самостоятельно найти сайты, которые вы подозреваете в аффилированности, у вас должна быть статистика по запросам и позициям для этого и вашего сайта.
- После того как Платон вынес свой «экспертный» вердикт про релевантность, я решил доказать, что это не так: в тот момент я думал, что логика и понимание своих же алгоритмов у Платона должны быть. Я был молод и наивен. Не пишите повторно и не тратьте время. Решите проблему самостоятельно, если это возможно, либо отправьте Платонам новое обращение, только в этом случае убедитесь, что все ваши вопросы конкретные, а не общие, и что все ваши доводы опираются на конкретные данные.
- Платоны не оперируют понятием «аффилиат-фильтр». На момент обращения я знал об этом, но решил добавить в список - лишним не будет.
Но на Платонов я изначально особо не рассчитывал, так что для меня ничего страшного не произошло, если не считать потраченного времени.
Поиск аффилированных ресурсов
Начал я с простого: поискал сайты с таким же номером телефона, IP сервера, проверил текстовую уникальность по цитатному поиску, поискал аффилиаты через специальные сервисы, уточнял у клиента, есть ли у него еще какие-то сайты, кроме продвигаемого.
По всем проверкам полный ноль, аффилиатов нет и все вроде как в порядке.
Иногда бывает, что алгоритмы Яндекса ошибаются… Хотя чего это я вру - не иногда. Как бы то ни было, но полученные результаты ни о чем не говорят, проверка продолжилась.
На следующем этапе я решил собрать список сайтов-конкурентов из ТОП 10 по отслеживаемым запросам и сравнить их позиции с нашим сайтом. Искать аффилиаты вообще по всем проблемным запросам смысла нет - это дорого и долго, учитывая количество этих запросов (их было много, несколько сотен).
Поэтому я взял в выборку только «мигающие» запросы. Почему именно их? Потому что мигание, во-первых, явно говорит о наличии чего-то типа аффилирования по этим запросам, тогда как по запросам, где сайт никогда не появлялся в выдаче, позиций могло не быть из-за релевантности или других проблем. Во-вторых, если «мигание» действительно связано с аффилированием, то это могло бы говорить о том, что аффилиат примерно сопоставим с нами по релевантности, а это уже сильно сужает область поиска. Ну и последнее - решение выгружать только ТОП 10 сайтов, а не ТОП 20, ТОП 30, к примеру, связано с тем, что по этим запросам наш сайт появлялся в результатах выдачи всегда в первой десятке, а раз предполагаемый аффилиат примерно сопоставим с нами по релевантности, то искать его следует там же, то есть в пределах первых 10 позиций выдачи.
Собирал сайты из ТОП 10 выдачи с помощью сервиса http://coolakov.ru/tools/most_promoted/ : просто выгрузил в него список запросов, а на выходе через минуту получил список доменов.
Чтобы убедиться, что все понимают смысл этих и дальнейших действий, немного отвлекусь на теорию:
Так называемый аффилиат-фильтр - это группировка поиска, когда по какому-то запросу поисковик ищет релевантные страницы не только в пределах вашего сайта, но и в пределах всех сайтов-аффилиатов. Самая релевантная страница показывается в выдаче. После того как я собрал список сайтов из ТОП 10 выдачи по всем «мигающим» запросам, то снял их позиции по отслеживаемым для нашего сайта позициям и сравнил с нашим сайтом.
То есть если в выдаче показывается наш сайт, то сайт-аффилиат из выдачи пропадает, и наоборот. Я искал именно такую корреляцию, и да, я нашел нужный сайт. Пример того, как это может выглядеть, на скриншотах ниже. На нем отчетливо видна смена релевантного документа: страница первого сайта стала ранжироваться в поиске, а страница второго исчезла из выдачи, при этом сами страницы продолжают находиться в индексе поисковика.
Лечение проблемы
Ресурс, который Яндекс признал нашим аффилиатом, таковым на самом деле не был - это сайт сторонней организации. Осечки алгоритмов случаются, к сожалению, это был именно такой случай.
Но даже когда аффилиат был найден, то я не решился повторно написать Платонам, а начал искать причину:
- Дизайн, структура, показатели whois и IP сайтов были разными.
- Было пересечение по некоторым товарам и ценам, но в данной нише такое возможно.
- Оба сайта были на одном движке.
- У обоих сайтов стоял одинаковый плагин для расчета стоимости доставки и вывода пунктов доставки. Как оказалось, этот плагин написал программист нашего клиента, и в дальнейшем они продали эту наработку сайту-аффилиату.
Больше ничего подозрительного найдено не было, теперь можно было писать повторное письмо Платонам, я составил вот такой текст:
А вот ответ Платона
Проблему не подтвердили, но это нормально, учитывая, что Яндекс не оперирует понятием и отрицает наличие в своих алгоритмах «аффилиат-фильтра»: раз этого нет, то и проблемы из-за этого быть не может, логично.
Но спустя короткое время можно было наблюдать уже такую картину:
Аффилирование убрали, и сайт занял свое законное положение в ТОПе.
Вот такая показательная история. Надеюсь, она окажется для вас полезной и поможет разобраться в похожей ситуации, если таковая подвернется.
Привет, друзья! Я вам обещал, что не заброшу публикации про SEO на моем блоге, который именно за это вы и полюбили.
Сегодня очередная публикация от моего коллеги – Алексея: аффилиат-фильтр в поисковых системах . Казалось бы, тема старая, ей много лет. И зачем об этом писать еще раз? Во-первых, в поисковиках все меняется постоянно, не только фильтры и санкции, но и методы их определения. В подтверждение тому – пока писалась данная публикация, один из методов определения фильтра перестал работать. Поэтому актуальность в таких вопросах – это главное.
Наш пост – самая актуальная инструкция на день публикации (на дворе 2018 год). Ну, и, во-вторых, я постараюсь поддерживать ее в актуальном состоянии, когда вдруг что-то поменяется.
Передаю слово Алексею.
Пост
обновлен
18.10.2018
Так называемый в среде сеошников аффилиат-фильтр - это попытка поисковых систем противостоять монополизации выдачи , то есть не допустить ситуаций, когда по каким-либо запросам в результатах выдачи одновременно присутствуют несколько сайтов, принадлежащих одной компании. Такие сайты называются аффилиатами (от англ. affiliate, филиал).
Пример позиций того же сайта, только в сравнении с конкурентом-аффилиатом, на скриншоте отчетливо видна смена релевантного документа: страница первого сайта стала ранжироваться в поиске, а страница второго исчезла из выдачи, при этом сами страницы продолжают находиться в индексе поисковика.
Как найти сайт-аффилиат, если он заранее неизвестен
Как проверить ресурсы на аффилированность
Способ проверки на аффилиат-фильтр №1
Суть в том, чтобы задать специальный запрос к выдаче, которому были бы релевантны оба ресурса :
Проверяем, что оба сайта отображаются, теперь нужно провести группировку выдачи, для этого можно дописать к запросу какую-нибудь белиберду после оператора отрицания, например так :
Если после группировки выдачи остался один ресурс, значит между ними есть аффилирование, если оба сайта остались в выдаче, то аффилирования нет. Вот аналогичная проверка для сайтов, заведомо не являющихся аффилиатами:
 |  |
Как обнаружить аффилиат-фильтр, способ №2
Можно сказать, что данный способ пережил второе рождение т.к. какое-то время назад он становился нерабочим, но сейчас снова работает.
Суть проверки заключается в исключении из выдачи одно из сайтов. Рассмотрим на примере аффилиатов http://kranarenda.ru/ и http://realkraninvest.ru/
Для начала введем релевантный для обоих сайтов запрос и убедимся, что в выдаче присутствует только один сайт, пример:
Дальше минусуем тот сайт, который находится в выдаче. Для этого нужно дописать после запроса “ ~~ site:adres-sayta.ru” если второй сайт после этого появится в выдаче, то можно сделать вывод, что наложен аффилиат-фильтр.
Как обнаружить аффилиат-фильтр, способ №3
- Выгрузить список запросов, по которым ресурс перестал находиться в поиске или по которым позиции начали “мигать”.
- Собрать список всех конкурентов по этим запросам в топ-10 или топ-30 выдачи.
- Сравнить позиции по этим запросам у своей площадки и сайтов-конкурентов из топа - искать конкурента у которого позиции максимально противоположны ващей площадке т.е. если по какому-то запросу ваша площадка присутствует в выдаче, то аффилиата там не будет и наоборот.
Нюанс в том, что проверка позиций через xml выдачу не даст результата т.к. где-то в июне-июле 2018 года Яндекс отключил влияние аффилиатного фильтра на xml выдачу. Поэтому данный способ работает только если парсить реальную выдачу, ну или проверять позапросно руками.
Как парсить реальную выдачу Яндекса в Кей Коллекторе
Для начала, необходимо проверить настройки, чтобы не был включен режим парсинга выдачи по xml:
После проверки настроек, запускаем парсинг и сравниваем позиции.
Алгоритм:
- Переходим на вкладку: Сбор данных
- Запускаем парсинг реальной выдачи Яндекса
- После съема позиций выдачи, выбираем интересующие нас ключи
- Переходим на вкладку: Дополнительная статистика
- Выбираем вкладку: Позиции в ПС
- Смотрим какие были позиции по запросу (обращаем внимание на целевые. Страницы могут меняться)
Уже нерабочий метод, на который не стоит тратить время
Способ был похож на вышеописанный, разница только в том, что вместо оператора url использовался domain , а сам запрос выглядел вот так: . Суть заключалась в том, что если в выдаче присутствовало оба сайта, то можно было предположить, что фильтра нет, если же в выдаче присутствовал только 1 сайт, то следующим шагом шла проверка - к урл дописывался параметр pag=u (тем самым мы разгруппировывали выдачу), и если после этого второй сайт появлялся в результатах выдачи, то можно было определить наличие аффилиат-фильтра.
Раньше это выглядело примерно так:
 |  |
Сейчас работа этого оператора изменилась и получить адекватные результаты не получится.
Еще один нерабочий способ проверки на аффилиат-фильтр
Надо было использовать цитатный поиск по тайтлам. Для этого указывались тайтлы страниц в кавычках вот таким образом (без квадратных скобок):
Если в выдаче оставался один результат, то можно было сделать вывод, что это - аффилиаты. Однако сейчас подобный запрос в любом случае оставляет только один результат в выдаче, даже если сайты не являются аффилиатами, пример:
Как выйти из-под аффилиат-фильтра в Яндексе
Устранить возможные причины наложения фильтра
Если фильтр был наложен алгоритмическим способом, то необходимо устранить все возможные причины его наложения. Санкции будут сняты автоматически сразу же после того, как алгоритм перестанет фиксировать эти причины.
По опыту: этот период может занимать от нескольких дней, до нескольких недель. Если фильтр наложен вручную, то сниматься он должен тоже вручную, сам по себе он не пропадет. Поэтому после устранения возможных причин наложения фильтра надо обязательно написать Платонам.
Написать письмо Платонам
Перед обращением к Платонам надо знать одну вещь - Яндекс не признает такого понятия как аффилиат-фильтр. Поэтому вы тоже не должны оперировать этим понятием, если хотите получить ответ по существу.
Могу дать совет, основанный на личном опыте : заранее определите с каким ресурсом аффилируется ваш сайт, соберите статистику по позициям сайтов в выдаче. В обращении задавайте вопрос с акцентом на последствиях, сразу сообщите, что ваши сайты принадлежат разным компаниям, если есть подозрения из-за чего поисковик может думать иначе, то стоит добавить дополнительные обоснования.
Для примера: ниже переписка с Платоном по поводу аффилирования моего продвигаемого сайта с одним из конкурентов. Предположительно причиной наложения санкций мог послужить одинаковый плагин формирования информации о доставке (пересечение по дизайну, пунктам доставки, стоимости доставки), так же на сайтах есть пересечение по ассортименту - около 80% товаров одинаковые и по части позиций присутствуют идентичные цены (совпадение):
После этого обращения где-то через пару недель ситуация изменилась и сайт начал нормально ранжироваться.
Напоследок: что пишут сами поисковики по поводу аффилиатов?
«Как указано в нашем руководстве для веб-мастеров, на сайтах нужно размещать оригинальный контент, представляющий интерес для пользователей. Это особенно важно для разработчиков, участвующих в партнерских программах. Позиции партнерских сайтов в результатах поиска могут быть невысокими, так как на них обычно публикуются описания продуктов, также представленные на других ресурсах партнерской сети. Это означает, что на таких сайтах мало оригинального контента, например дополнительных сведений о товарах и их категориях.
Специалисты Google считают, что некачественные партнерские сайты бесполезны для пользователей, особенно если в партнерской сети много подобных ресурсов. Такие сайты зачастую представляют собой группы шаблонных или низкокачественных страниц, на которых размещен один и тот же контент. Пользователям не нравится, когда они видят в результатах поиска множество страниц с одинаковым содержанием.»
Вот и все на сегодня. Спасибо за внимание. Задавайте вопросы и пишите комментарии.
А в самом конце я хочу анонсировать будущий seo-пост от Алексея, который он охарактеризовал так: «короче, это будет что-то типа описания алгоритма действий при оптимизации ресурса под ББ + пара небольших примеров, так что это еще и наполовину кейс».
Детально пробежимся по главным факторам, за что Яндекс может счесть сайты аффилированными.
1. Один и тот же владелец домена
Часто регистрируются домены на одного человека. Это отличный звоночек для яндекса, чтобы в дальнейшем сайты считать аффилиатами.
Что делать?
- Регистрировать домены в разных местах, на разные паспортные данные. Можно закрыть данные о владельце домена.
- Обязательно закрывать данные о владельце доменов, даже при регистрации на разных людей
2. Хостинг
Часто аффилированные сайты размещаются у одного хостинг провайдера. Ну это удобно: единая панель управления, единая оплата, получается дешевле и т.д. Но! Размещение на одном сервере — отличный звоночек, чтобы наложить аффилиат.
Что делать?
- Размещаться на разных хостингах. Все остальные варианты показывают худшие результаты
3. Контактная информация
Главная ошибка 99% вебмастеров — размещение одних и тех же контактных данных на нескольких сайтах. Чаще всего речь идет о телефонных номерах. Это элементарно вычисляется, как поисковыми системами, так и конкурентами, которые с радостью постучат в поддержку Яндекса и пожалуются на нарушения с вашей стороны.
Что делать?
- На каждом сайте — своя контактная информация. Всё остальное не работает!
Аффилиаты - это сайты одинаковой или схожей тематики, отображающиеся в поиске по одинаковым запросам и принадлежащие одному владельцу. Почему же поисковые системы борются с такими сайтами? Ответ прост - чтобы избежать монополизации выдачи. Стоит сказать, что термин "аффилиат-фильтр" придумали сами оптимизаторы для обозначения алгоритма, который борется с монополизацией. Сотрудники Яндекс и Google не раз заявляли, что результаты поиска заслуживают многообразия. Согласитесь, вам будет неудобно, если в поисках какого-либо товара вы увидите в выдаче 5 сайтов, похожих, как близнецы, да еще и продающих один и тот же продукт.
Признаки аффилированности сайтов:
Одинаковые номера телефонов
Очень весомый аргумент, чтобы отправить сайт под фильтр - это говорит о том, что несколькими сайтами владеет одна компания. Впрочем, можно зарегистрировать дополнительные номера телефонов для размещения их на других сайтах.
Одинаковые адреса
Если на сайтах совпадает улица, номер дома, офиса, да еще и тематика, то попадание под фильтр - вопрос времени. Чтобы этого не произошло, следует указывать на сайтах разные адреса.
Одинаковый E-mail
Решить проблему в данном случае очень просто - нужно зарегистрировать отдельную почту для каждого сайта.
Владелец домена
Если в выдаче находятся сайты с доменами, зарегистрированными на одно лицо, есть определенный риск попасть под санкции. Выйти из ситуации можно довольно легко - либо зарегистрировать домен второго сайта на другое лицо, либо закрыть данные о владельце доменного имени в регистраторе.
Схожая структура
Достаточно косвенный признак, но он также учитывается. Если у двух сайтов одинаковая структура и названия URL, это бросается в глаза не только пользователям, но и поисковым системам.
Схожий дизайн
Это уже более явный признак. Если логотип, цветовые решения, фон и прочие атрибуты дизайна одинаковые - стоит срочно исправить это недоразумение.
Название фирмы, схожие доменные имена
Самая частая и самая нелепая ошибка большинства владельцев. Решить ее, как вы понимаете, не так уж трудно - можно поменять название фирмы. Также не стоит употреблять название компании при регистрации домена.
IP сервера, хостинга
Желательно, чтобы сайты находились на разных серверах и хостингах.
Контент, одинаковые товары или услуги
Если на ваших сайтах продаются одинаковые товары по одинаковым ценам и со схожими условиями - это точно вызовет подозрение.
В каких случаях сайты одного владельца не попадают под этот фильтр?
Что делать, если вы уже попали под фильтр?
- Устранить все признаки аффилированности, показать, что данные сайты принадлежат разным владельцам.
- Закрыть от индексации один из сайтов в robots.txt. Также можно осуществить склейку доменов и сделать 301 redirect.
Как проверить, попал ли сайт под аффилиат-фильтр?
Как правило, фильтр накладывается на сайты, оптимизированные под один поисковый запрос. Если один из сайтов попадает под фильтр, он резко теряет позиции в выдаче по общим с другими аффилиатами запросам и может совсем выпасть из индекса. При этом другой аффилированный с ним ресурс остается в результатах поиска.
Чтобы избежать таких последствий, лучше заблаговременно провести анализ и выяснить, имеются ли в индексе поисковых систем сайты, схожие с вашим. Это особенно актуально для SEO-оптимизаторов, к которым на продвижение приходят сайты клиентов. Очень часто оказывается, что у заказчиков есть несколько ресурсов одной тематики или, что еще хуже, одинаковые сайты, доступные по разным доменным именам.
Как быстро обнаружить аффилиат?
Сделать это поможет Labrika - на основе анализа контактных данных, размещенных на сайте, сервис выдает информацию о том, на каких еще ресурсах в сети интернет указаны такие же адреса, телефоны, почта. Используя специальные алгоритмы, Labrika определяет "явные" и "предположительные" аффилиаты.
