Теоретические основы всех популярных алгоритмов машинного обучения и их реализация с нуля на Python

В данной статье в виде ссылок представлены все популярные алгоритмы классического машинного обучения с их подробным теоретическим описанием и немного упрощённой реализацией с нуля на Python, отражающей основную идею. Помимо этого, в конце каждой темы указаны дополнительные источники для более глубокого ознакомления, а суммарное время прочтения статей ниже составляет более трёх часов!

Ноутбуки с данными алгоритмами можно загрузить на Kaggle (eng) и GitHub (rus).

Это будет полезно не только начинающим свой путь в ML (хотя и сложновато), но и более опытным специалистам, которые хотят лучше ознакомиться с теорией и тонкостями реализации алгоритмов, пройдя путь от основ до более продвинутых тем, некоторые из которых обсуждаются в последних научных статьях.

🔔 Данные статьи являются частью будущего теоретического курса по машинному обучению, который будет представлен немного позже и будет включать в себя туториалы по ML-библиотекам, а также всю необходимую теорию, начиная от способов оценки моделей и заканчивая методами оптимизации в ML и DL в целом.

Ну а теперь поехали!

Обучение с учителем

• 1) Линейная регрессия и её модификации

• 2) Логистическая и Softmax-регрессии

• 3) Линейный дискриминантный анализ (LDA)

• 4) Наивный байесовский классификатор

• 5) Метод опорных векторов (SVM)

• 6) Метод K-ближайших соседей (KNN)

• 7) Дерево решений (CART)

• 8) Бэггинг и случайный лес

• 9) Алгоритмы AdaBoost (SAMME & R2)

• 10) Градиентный бустинг и его модификации

• 11) Стекинг и блендинг

Обучение без учителя

• 12) Метод главных компонент (PCA)

• 13) Популярные алгоритмы кластеризации

Всем успехов и до новых встреч! ✨