Comments 4
Да. Было бы очень неплохо иметь стандартный блок обработки экспериментальных данных. Чтобы отсеять тривиальные закономерности и сконцентрироваться на нетривиальных или скрытых закономерностях. Чтобы получать интерпретируемые результаты. И чтобы не тратить время на поиск «чёрных кошек». При этом, разумеется, всегда останется мечта о создании Верховного Алгоритма (по Домингесу), который покажет и расскажет всё, что знает (и не знает).
У меня если честно есть ненаписанное продолжение этой статьи где я используя алгоритм ассоциативныех правил как раз и вытаскиваю нетривиальные закономерности (по метрике lift пакета association rules) с дальнейшей визуализацией (скорее всего через chord plot) но наверно это уже на 2 часть потянет, эта статья и так большая получилась
Я, если хочу просто взглянуть на данные по-быстрому, использую skimr. Еще есть DataExplorer, но он уже посложнее. И ggalluvial мне показался более удобным.
Мне в своё время сильно помог вот такой инструмент — D3.js Parcoords + DataTables
После доработки под свои нужды — позволял за секунды визуально находить очень не явные корреляции в датасетах до 100к (дальше начинало тормозить) записей.
Сейчас бы такую тулзу сделал на Dash (Plotly)
После доработки под свои нужды — позволял за секунды визуально находить очень не явные корреляции в датасетах до 100к (дальше начинало тормозить) записей.
Сейчас бы такую тулзу сделал на Dash (Plotly)
Sign up to leave a comment.
EDA под другим углом