Ранжирование в Яндексе: как поставить машинное обучение на поток (пост #3)

Однако следить, что фактор остаётся ценным и не впустую расходует вычислительные ресурсы, необходимо и после его внедрения.
Логично, но в то же время…

Для этого была создана специальная регулярная автоматическая проверка — так называемый мониторинг качества факторов. Вычислительно он очень сложный, но позволяет решить целый ряд проблем.

Я так понимаю, этот мониторинг тоже не мало ресурсов вычислительных потребляет. С одной стороны хотим разгрузить ресурсы, но с другой, используем механизм, который сам потребляет не мало ресурсов. Хотелось бы узнать, соизмеримы ли затраты на работу данного механизма с сэкономленными ресурсами при удалении бесполезных факторов.

Одни ресурсы — про кластер разработки (мониторинг), другие про рантайм. Там разные объемы вычислений, в частности, каждый фактор за день вычисляется 200млн запросов * 20к документов = 4трлн раз (это я очень-очень снизу). Мониторинг же задачка сложная, но значительно более «земная» по объемам вычислений и проводить ее можно не так часто, например, в фоне. Ко всему прочему факторы в рантайме — это латентность, которую видят пользователи, а мониторинг — проблема разработки. Пользователей мы любим больше.