Comments 3
UFO just landed and posted this here
Ниже скрин из одной из ссылок
Coverage — доля заявок, по которым ИИ (можно я буду использовать это сокращение, несмотря на его некорректность?) дал предсказания.
Accuracy — доля тех заявок, по которым ИИ ещё и угадал при этом
Оно в принципе феерически некорректно при multi-class классификации оперировать метрикой accuracy. Например, если один класс сильно преобладает по количеству заявок, то выигрышная стратегия для модели будет «в любой непонятной ситуации вали всё в тот класс». Что даст очень хорошую accuracy, но некоторые классы определяться не будут вообще.
Ещё хороший вопрос — эти проценты получены всё-таки на отложенной выборке (любопытно знать её объём) или на кросс-валидации? Если на кросс-валидации, то я не понимаю, чем они хвалятся, ибо 80-85% accuracy на CV берутся элементарно.
В лучшем случае система даёт 18% ошибок. Каждая пятая заявка — неверно классифицирована.
Coverage — доля заявок, по которым ИИ (можно я буду использовать это сокращение, несмотря на его некорректность?) дал предсказания.
Accuracy — доля тех заявок, по которым ИИ ещё и угадал при этом
Оно в принципе феерически некорректно при multi-class классификации оперировать метрикой accuracy. Например, если один класс сильно преобладает по количеству заявок, то выигрышная стратегия для модели будет «в любой непонятной ситуации вали всё в тот класс». Что даст очень хорошую accuracy, но некоторые классы определяться не будут вообще.
Ещё хороший вопрос — эти проценты получены всё-таки на отложенной выборке (любопытно знать её объём) или на кросс-валидации? Если на кросс-валидации, то я не понимаю, чем они хвалятся, ибо 80-85% accuracy на CV берутся элементарно.
В лучшем случае система даёт 18% ошибок. Каждая пятая заявка — неверно классифицирована.
Sign up to leave a comment.
Agent Intelligence от ServiceNow — нейронные сети на службе у техподдержки