Когда лучше не использовать глубинное обучение

Спасибо за интересный перевод. Автор попытался обсудить ряд актуальных проблем. Наиболее интересными мне показались проблемы интерпретации и причинно-следственных связей. В то же время не достаточно четким выглядит исходное понятие — малая выборка. Допустим, если без всякого обучения используется классическая модель линейной регрессии для выборки из 80 чисел, то очевидно, что это не большая выборка. Но когда для обучения сложно устроенного черного ящика используется 80 образцов, каждый из которых содержит значительный объем информации, нпр., 80 изображений — можно ли такую выборку назвать малой? М.б. нужно считать не только образцы, но и объем информации в МБайтах в каждом из них, каковой объем используется при обучении?

даже упорядоченные, такие как LASSO

Эм, что подразумевается под «упорядоченные»?

Разве не рассказывают в книжках про нейросети об алгоритмах оптимизации (вроде имитации отжига и т.п.)?

У Уоссермена этому точно посвящена часть книги.