yurkennis Mar 26 2013 at 13:06

Ранжирование в Яндексе: как поставить машинное обучение на поток (пост #1)

6 min

51K

Яндекс corporate blogData Mining*Big Data*

+49

Comments 53

antonlemon Mar 26 2013 at 13:33

Давненько я не видел новых сайтов в топе по коммерческим запросам. «Машинное обучение»?

+12

t1r1 Mar 26 2013 at 14:48

Да, это машинное обучение.
Обучение коммерческих сайтов производится по видоизмененной технологии, про которую мы рассказывали на различных конференциях:

www.cybermarketing.ru/conference/conf4-lecturer.html
www.optimization.by/6651/

Основные изменения касаются другого принципа оценки, привлечения дополнительных факторов ранжирования.
Если начать учитывать качество магазина, то многие из параметров оценки качества становятся достоверными только с течением времени.
В современных рыночных условиях нельзя взять и назначить новый-молодой бизнес самым лучшим, его качество определяется со временем по его делам.
Поэтому учет качества магазинов (коммерческих сайтов) приводит к тому, что некоторые сайты становятся более устойчивыми, а другие, напротив, уходят из выдачи.

Аналогичный подход пробуют использовать и другие поисковые системы:
searchenginewatch.com/article/2253941/Matt-Cutts-Merchant-Quality-to-Affect-Google-Search-Rankings
blog.seolib.ru/seo-novosti/mett-katts/

antonlemon Mar 26 2013 at 17:34

Не могу с вами согласиться. Ситуация такова, что те, кто начал продвигаться примерно до 2008 года по коммерческим запросам довольно быстро вошли в десятку и в ней же остаются сейчас. После же попасть в десятку стало практически невозможно. И это никак не зависит от «молодости» или «старости» бизнеса, а зависит только от того, кто раньше начал продвигаться. Здесь полная консервация топа, а за счет этого продвижение вашего «Директа».

yurkennis Mar 26 2013 at 19:06

У нас другие сведения :-) Вот, например, запрос [grand vitara], выдача для Краснодара.

Вот как он изменился даже за несколько месяцев — сравниваем выдачу сегодня и в сентябре-2012:

1 suzuki.drom.ru/grand_vitara/ www.suzuki-motor.ru/auto/new/grand-vitara/about/
2 www.grand-vitara.com/ suzuki.drom.ru/grand_vitara/
3 www.auto-creditline.ru/sell_cat.php?cid=352 www.club-vitara.ru/
4 www.suzukiauto.com/grand_vitara/ ru.wikipedia.org/wiki/Suzuki_Grand_Vitara
5 www.carexpert.ru/aresp.php?idmodel=suzkv www.drive2.ru/cars/suzuki/grand_vitara/
6 www.suzuki-motor.ru/auto/new/grand-vitara/about/ www.carexpert.ru/aresp.php?idmodel=suzkv
7 newmpv.ru/sites/95 www.vitara-club.ru/
8 www.r93.ru/suzuki/grand_vitara/ www.vitara-club.ru/
9 newmpv.ru/sites/95 www.grand-vitara.com/
10 www.yuginform.ru/auto/krd/suzuki/grandvitara www.cardriver.ru/catalogue/new/Suzuki/Grand_Vitara.html?comments=1

Что уж говорить про более длинные промежутки…

-1

antonlemon Mar 26 2013 at 19:32

Лучше взять Москву и запросы «шкафы-купе», «пластиковые окна», «межкомнатные двери», «столешницы из искусственного камня» :)

Athari Mar 27 2013 at 13:33

Вам же недвусмысленно намекнули: «Про Москву забудьте, идите в регионы продавать подержанные иномарки». :)

solariq Mar 27 2013 at 16:24

Ну ок. Москва. Пластиковых окон не нашел :). Нашел [бронированные двери]. Вот результаты ранжирования Яндекс от 2008-06-23:

www.dvery.ru/
www.bronedveri.com.ua/
www.roxter.com.ua/
www.bankproject.ru/
www.mirdverey.com.ua/
komplekt-opt.ru/
www.superdver.ru/
www.npp-modul.ru/
www.super-dveri.ru/docs?nart=58
www.testroy.ru/

Итого 3 совпадения с текущей выдачей.

-1

Bakalov Mar 27 2013 at 11:23

Ранжирование осуществляется автоматически по всем запросам, или по некоторым все же существует «отредактированная вручную» выдача? В первую очередь конечно интересуют высокочастотные коммерческие и политические запросы.

solariq Mar 27 2013 at 14:03

По всем запросам работает формула ранжирования, которая готовится с помощью описываемого сервиса.

victor_lavrenko Mar 26 2013 at 14:33

Денис, можешь написать, сколько у вас факторов и оценок?

как на счет актуализации оценок — сколько времени «живут» оценки — перепроверяете ли вы их все, как часто переоцениваете один и тот же запрос, чтобы оценить новые сайты?

разделяете ли вы как-то оценки на заслуживающие больше доверия (например, перепроверенные старшими асессорами, или по которым не было разногласий между асессорами) и менее?

yurkennis Mar 26 2013 at 15:53

Денис, можешь написать, сколько у вас факторов и оценок?

Могу назвать порядок цифр.
Факторов — порядка тысячи.
Оценок — миллионы :-)

как на счет актуализации оценок — сколько времени «живут» оценки — перепроверяете ли вы их все, как часто переоцениваете один и тот же запрос, чтобы оценить новые сайты?

Да, перепроверяем; да, переоцениваем. Регулярность зависит от частотности запроса.

разделяете ли вы как-то оценки на заслуживающие больше доверия (например, перепроверенные старшими асессорами, или по которым не было разногласий между асессорами) и менее?

Мы с этим экспериментируем.

Dimanius Mar 26 2013 at 16:58

Почему удовлетворенность результатами конечными пользователями не оценивается?
Может стоит на небольшой выборке тестировать вопросы, по удовлетворенности посещенными сайтами и почему они вернулись к поиску?
Ведь асессоры это специалисты, но глаз замыливается.

Кстати и что касается консервации топа, в некоторых тематиках он уже 3 года стабилен (топ-10), а это значит, что получается совпали результаты по формуле обычной + машинному обучению + выбору асессоров?

Спасибо в любом случае за попытку показать, как все это работает!

yurkennis Mar 26 2013 at 17:29

Почему удовлетворенность результатами конечными пользователями не оценивается?
Может стоит на небольшой выборке тестировать вопросы, по удовлетворенности посещенными сайтами и почему они вернулись к поиску?

Удовлетворённость пользователей оценивается — с помощью пользовательских метрик. Немного подробней об этом планируем рассказать во втором посте.

Кстати и что касается консервации топа, в некоторых тематиках он уже 3 года стабилен (топ-10), а это значит, что получается совпали результаты по формуле обычной + машинному обучению + выбору асессоров?

О каких тематиках идёт речь, например?

elite7 Mar 26 2013 at 17:25

Может ли асессор «подсматривать» в поисковики и выставлять оценки не согласно качеству документов, а на основе выдачи поисковиков?

Например, если документ по данному запросу нигде не находится — асессор ставит плохую оценку.
Если в Яндексе — отличную, если в Гугле — хорошую.

Каковы механизмы защиты от такого недобросовестного поведения асессоров?

yurkennis Mar 26 2013 at 18:23

В момент оценки асессор не знает о том, какие системы оценивает. Да ему и не до этого, среднее время оценки — меньше минуты. За это время посмотреть какая система отдала урл — нереально.

elite7 Mar 26 2013 at 19:14

Правильно ли я понимаю, что работа асессора оплачивается за каждую оценку и ему выгодно оценить как можно больше?

Асессор — это человек работающий в офисе или «на удаленке»?

yurkennis Mar 26 2013 at 19:23

Если кратко — асессору выгодно делать много качественных оценок. Трудовые отношения с асессором — извините, тут совсем офтопик.

elite7 Mar 28 2013 at 18:58

Возможно я ошибаюсь, но общее качество поиска может зависеть от нескольких крупных составляющих.

Например, как это может быть.

1) Алгоритм машинного обучения — пусть он работает на 99 процентов от идеального алгоритма
2) Правильное множество факторов — пусть текущее множество работает на 60 процентов от некоторого воображаемого идеального множества факторов
3) Оценки асессоров — пусть асессоры дают оценки, которые хуже на 40 процентов от «идеальных асессоров»

В такой ситуации узким местом будет не алгоритм, не полнота индекса и не мониторинг качества текущих факторов, а способы поиска новых факторов и контроль качества работы асессоров. Если вы считаете, что это оффтопик — ок, не настаиваю.

В каком-то смысле, хотелось бы в новых Ваших публикациях затронуть проблемы поиска новых факторов и мониторинга асессоров. Это просто пожелание. Возможно, это не узкие места. Тогда забейте.

За ссылки на Russir и ECIR спасибо, поизучаю.

yurkennis Mar 28 2013 at 19:02

Давайте мы опубликуем оставшиеся два поста, а по итогу посмотрим, какие из ваших вопросов остались без ответа — годится?

iseg Mar 27 2013 at 02:08

Этим механизмам посвящены немалое число научных и практических работ. Были интересные тьюториалы на RUSSIR из Яндекса года три назад, а сейчас идет конференция ECIR2013 в Digital October, наверняка там тоже есть работы по этой теме

dkrot Mar 26 2013 at 17:55

А можно уточнение по картинке — 10^12 и 10^8 это какие документы имеются ввиду: известные URL'ы / скаченные / заиндексированные / потенциально искомые или еще что-то?

yurkennis Mar 26 2013 at 18:27

Цифры, разумеется, условные — лишь показывают разницу порядков на разных этапах.

Если же углубляться в смысл картинки:
— где 10^12 — подразумевались скорее известные УРЛы
— где 10^8 — грубая прикидка документов, найденных по короткому, простому запросу

vanxant Mar 26 2013 at 18:48

Самое забавное, что килобайтная формула в 2007-ом искала лучше, чем этот ваш 40мб матрикснет.
Ну я понимаю, что рунет с тех пор изменился и вырос, но это именно вы, яндекс, вырастили его таким — забитым на 99% говносайтами разной степени «монетизации» с ворованным/генеренным/авторерайченым контентом.
Однако самое веселое то, что по коммерческим запросам именно яндекс даёт наилучшие результаты, правда в графе «директ». На результаты нормального поиска по таким зарпосам уже многие внимания просто не обращают. Сколько там байт в формуле ранжирования директа, 7?:)

-1

nerd Mar 26 2013 at 20:15

Не туда написал.

nerd Mar 26 2013 at 20:16

Если матрикснет — это библиотека машинного обучения, интересно знать какую долю от всех запросов рассматривают ассесоры?

yurkennis Mar 26 2013 at 20:53

В тексте уже звучала цифра:

В ранжировании эксперты определяют порядок, в котором нужно показывать документы по конкретным запросам. Таких запросов десятки тысяч.

В процентах, разумеется, это ничтожная доля — потому что уникальных запросов пользователи задают несопоставимо больше.

iseg Mar 27 2013 at 02:04

Уточнить для понимания важно следующее: оценненные запросы ранжируются не по оценкам, отнюдь. Оценки используются только для тренировки, как неизвестных запросов, так и оцененных

yurkennis Mar 27 2013 at 12:14

Илья добавил важное уточнение: habrahabr.ru/company/yandex/blog/174213/#comment_6057001

yurkennis Mar 26 2013 at 20:24

В тексте уже звучала цифра:

В ранжировании эксперты определяют порядок, в котором нужно показывать документы по конкретным запросам. Таких запросов десятки тысяч.

leventov Mar 26 2013 at 20:25

Мы обозначим круг задач, для решения которых FML может оказаться полезным и за пределами Яндекса, и сравним его с аналогами, доступными на рынке.

Единичные проекты сотрудничества (как с CERN)? Лицензирование? Опенсорс?

yurkennis Mar 27 2013 at 16:32

Мы готовы обсуждать формы сотрудничества — пишите на адрес anaderi@yandex-team.ru

Выпускать в опенсорс не планируем.

qprst Mar 27 2013 at 01:13

Это все прекрасно, но Вам в Яндексе стоит серьезно задуматься о ранжировании дублированного контента в выдаче.
Наглядный пример мы совсем недавно отправляли в службу поддержки:
Воры контента сделали точную копию сайта, а именно скопировали весь текстовый контент (несколько десятков тысяч уникальных авторских статей). И мало того, что сайт копипастеров отлично индексируется, так по большей части низкочастотных запросов (фраза из статей) они вылезли выше чем оригинал. Сайту вору уже больше года.
Поддержка отписывается что Яндекс это зеркало рунета и бла бла бла, но проблему это не решает. Кто угодно может сделать копию ЛЮБОГО сайта, с большей вероятностью появится в поиске и навредить честным людям.
Ах да, инструмент «Оригинальные тексты» не помогает.

При всей моей любви к вашей ПС, ваши коллеги из гугла по крайней мере реагируют на такие запросы и убивают дублирующий контент.

philpirj Mar 27 2013 at 02:22

А как доказать, кто появился раньше, кто оригинал? То, что на вас раньше кто-то ссылался? Существует неимоверное количество продажных сайтов, и целые их сети для подъёма рейтинга ресурсов за счёт ссылок на них и т.п. А с помощью инструмента «Оригинальные тексты» могут удалить и вас.
Почему вы вообще считаете, что это работа поисковика разбирать, кто из вас оригинал? Если ваши тексты являются интеллектуальной собственностью, и вы обладаете авторским правом на неё, почему бы вам не решить вопрос в судебном порядке?
Если вы хотите, чтобы копии не было в поисковиках, вам нужно будет также обращаться и в остальные, зачастую не менее популярные поисковики, а они, насколько я понимаю, далеко не так открыты к людям, как наш любимый Яндекс.

mishael Mar 27 2013 at 12:42

Вопрос часто не в том, кто первый, а в том, что бан и пессимизация накладываются на источник контента, а не на вора. Т.е. в логике банов вопрос «кто был первый, а кто неинтересный дубль недостойный выдачи» очень даже легко решается, причем автоматом и сплеча. А в ранжировании значит трудно решить?

solariq Mar 27 2013 at 14:25

Обсуждаемый вопрос — очень сложная, неразрешенная проблема. На данный момент научное сообщество «тренируется» на соц. сетях в выявлении источников трендов/истории ретвитов. 3 или 4 работы на эту тему были на последнем WSDM. Однако, повторюсь, хорошего, применимого на практике решения пока в природе не существует (как минимум не известно авторам данной статьи). Тем не менее, проблема и боль, которая стоит за подобными сообщениями понятна и как только будет найдено хорошее решение оно будет внедрено.

philpirj Mar 27 2013 at 20:58

Раньше для доказательства авторства рукописей достаточно было отправить копию себе заказным письмом до востребования. Возможно, сейчас можно применить платную индексацию на archive.org. И по большому счёту совершенно не задача поисковиков снижать рейтинг копий, а ваша задача следить за копиями, и оперативно пользоваться каким-то механизмом борьбы с источником.

Например, если на ваш сайт, первый в поисковой выдаче по запросу «Быстрое похудание» будет вести только поисковик, а на другой сайт, вашу копию, тысяча ссылок с блогов и ресурсов из Яндекс.Каталога, то даже если вы докажете, что вы — оригинал, то поможете Яндексу вычислить «продажные» блоги и ресурсы, существующие ради SEO. Но это много, много ручного ресурса.

t1r1 Mar 28 2013 at 13:15

Добрый день. Не могли бы Вы сообщить адрес сайта? Можно личным сообщением.

iseg Mar 27 2013 at 02:03

Привет оптимизаторам :)!

mishael Mar 27 2013 at 12:49

А не оптимизаторам, а владельцам сайтов? Создание «сайта, интересного посетителю» — интересного профессионального уникального контента — дорогое удовольствие, которое часто не окупается, если траффик идет только с Директа и Гугла, а органический поиск забанил. Например Матрикснет недавно забанил лучший украинский интернет-магазин в своей нише, в результате ошибки в алгоритмах (по словам Платона). Три недели вне поисковой выдачи старый уважаемый магазин терпит убытки. Оптимизиторы-спаммеры-дорвейщики это все хорошо, но Яндекс и Гугл это естественные монополисты от которых зависят судьбы людей в бизнесе и многим тут не до веселых шуток. А ложная сработка руками не убирается так просто и анализ «почему так случилось» может идти неделю. Это ж вам не простая формула, а искусственный интеллект…

yurkennis Mar 27 2013 at 17:05

Любая классификация (в том числе определение заспамленности или «взрослости» контента) — вероятностная задача, в которой есть полнота и точность (которые никогда не достигают точных 100%).

Поэтому ситуации вроде ошибочной пессимизации или пропадания были и будут всегда. Мы следим за цифрами в среднем по всему множеству сайтов, и в случае значительных ухудшений ситуации в целом — откатываем алгоритм к предыдущей версии. Заниматься ручным исправлением ситуации с отдельными сайтами по жалобам — с точки зрения пользовательского счастья менее эффективно, чем решать более общую проблему, приведшую к жалобе. А мы работаем прежде всего на пользовательское счастье.

sealord Mar 27 2013 at 15:51

Хорошая статья
главное — не из рубрики «Превед оптимизаторам!» :)
ждем продолжение

t1r1 Apr 3 2013 at 20:01

Пожалуйста: habrahabr.ru/company/yandex/blog/174975/

philpirj Mar 27 2013 at 02:33

Пост похож на вкусную затравку, но ничего интересного в статье, а также никаких интересных подробностей по ссылкам на YAMR и Матрикснет.
Что за СМИ такие, которые называют ранжирование релевантностью, и что за формула, выросшая в 2000 раз за 6 лет — не раскрыто.
Раз уж решили рассказать, интересно в первую очередь услышать об алгоритмах, используемых для ранжирования тех самых 10^8 найденных документов, сравнения с известными алгоритмами кластеризации; про хранение этих данных и использование их в оперативных запросах; про кеширование результатов.
На очередной пост наподобии поста про новые ~~нескучные обои~~ возможности Я.Браузера время тратить не хотелось бы.

kzn Mar 27 2013 at 09:56

Начинали они скорее всего с BM25

solariq Mar 27 2013 at 14:41

Статья, как и ее продолжение, не про поисковую систему в целом, а про то как создавать и улучшать одну единственную ее часть — формулу ранжирования. При этом, мы хотим сосредоточиться не на том, какие конкретно скрипты и с какими параметрами запускать, чтобы сделать так же, а на более общих проблемах с которыми мы столкнулись. В частности речь идет о создании экосистемы разработки вокруг задачи ранжирования, что является довольно сложной задачей, если разработкой занимается более 2-х человек.

Кстати, какого рода сравнение алгоритмов обучения ранжированию с алгоритмами кластеразации вы просите?

philpirj Mar 27 2013 at 20:49

Про скрипты вопроса и не было. А что такое формула в принципе не очень понятно, а формула же, занимающая 40КБ, о которой написано в топике — и подавно.
Было бы интересно про ранжирование, а не экосистему.

Про сравнение имелось в виду, используете ли вы K-means для первичного отбора, но теперь я понимаю, что это за пределами топика.

solariq Mar 28 2013 at 14:36

K-means не применим в рантайме, так как стучит минимум кубом и вообще не всегда сходится. Более того, в рантайме очень редко используется кластеризация вообще.

Формула — это набор действий над факторами (числами, характеризующими набор пользователь/запрос/документ), результатом работы которых является число, определяющее порядок ранжирования. Примерами действий могут быть такие: сложить, сравнить с порогом, домножить, заменить и т.п. Мы исходим из того, что размер формулы отражает рост количества этих действий, так как в процессе формат изменяеся не слишком сильно.

UFO just landed and posted this here

TheBat Mar 27 2013 at 11:39

Эта статья — отличное начинание, не откладывайте в долгий ящик продолжение, очень интересно будет почитать про оценку удовлетворённости результатами поиска, про пользовательские метрики (как формируются, какие из них используются, а какие нет и почему).

t1r1 Mar 27 2013 at 19:11

Спасибо за отзыв, продолжение не за горами.

t1r1 Apr 3 2013 at 20:01

А вот и продолжение habrahabr.ru/company/yandex/blog/174975/

Infanty Mar 27 2013 at 16:50

Кластер на GPU вещь хорошая, математику формулах ранжирования быстро считает. Для своего маленького поисковичка тоже 2 видеокарты использую.

agagey Apr 9 2013 at 11:06

Человек-асессор в каждом конкретном случае знает, почему он поставил ту или иную оценку.
Обучаемый алгоритм — не знает, потому что:
— все машинные самообучаемые системы на данный момент — «чёрные ящики»,
— индивидуальные оценки так или иначе обобщаются, но не обобщаются их причины.
Такой «ослеплённый» алгоритм не в состоянии обработать крайние случаи (причём мы не можем заранее знать, какие именно), и очень слаб в эвристике.
Однако философская суть поиска — искать то, что еще не известно. А это и есть эвристика и и крайние случаи. Получается, ваш подход к организации ранжирования противоречит сути самого поиска.
Или я ошибся в логике?