Comments 7
А что с поясняющими картинками ?
Как и в случае с Adaboost, градиентный бустинг добавляет базовые модели в
ансамбль последовательно, однако вместо обучения моделей с учётом весов
на основе ошибок предшественников, в данном случае модели обучаются на
остаточных ошибках (residual errors), допущенных предыдущими моделями.
Уже первый абзац задает планку на 12000 м над уровнем моря)))
Статья - выше всяких похвал.
Но...насколько коррелируют ансамбли и интерпретируемость (как одна из ключевых метрик in production). Или в этом плане есть серьезные сподвижки?
Ансамбли занимают что-то промежуточное между простыми моделями и нейросетями в плане интерпретируемости. На сегодняшний день есть много методов интерпретации, начиная от feature importance и заканчивая SHAP, LIME и так далее. Интерпретируемость далеко не всегда стоит на первом месте, например, те же нейросети используются повсеместно, хотя и являются чёрным ящиком в большинстве случаев.
Градиентный бустинг. Реализация с нуля на Python и разбор особенностей его модификаций (XGBoost, CatBoost, LightGBM)