PastorGL Sep 14 2023 at 17:00

Искусство ETL. Пишем собственный движок SQL на Spark [часть 3 из 5]

Hard

20 min

1.6K

Open source*Java*SQL*Big Data*Hadoop*

Tutorial

Comments 7

igor_suhorukov Sep 14 2023 at 17:47

Йахууу! Все пути для аналитиков ведут в SQL

igor_suhorukov Sep 14 2023 at 19:01

@PastorGLвот что я не смог выразить на SparkSQL до сих пор, так это FSM. У тебя есть идеи как это можно без своего движка DSL сделать? Как бы ты это реализовал?

Я пробовал через Spark UDAFs, но столкнулся с тем, что Spark может вызвать у функции merge операцию.

PastorGL Sep 14 2023 at 20:13

Это что-то из рубрики «ненормальное программирование»? Не, у нас в этот раз рубрика другая.

igor_suhorukov Sep 15 2023 at 13:08

Да почему же ненормальное?) Задача поведенческой аналитики. Дать пользователем возможность выражать на SQL метрики по каждому стейту самим

PastorGL Sep 15 2023 at 16:38

Аналитика — это не моя область экспертизы. Я делаю инструменты для автоматизации работы аналитиков, но не занимаюсь ею сам. И описываемый проект покрывает только ETL процессы, но не более того.

Впрочем, если выдать мне white paper с описанием алгоритма расчёта какой-то метрики, я могу покумекать, и чё-нить имплементировать. Правда, имплементация будет на жабе. А чтобы вытащить её в уровень DSL, нужная серьёзная работа по генерализации задачи.

igor_suhorukov Sep 15 2023 at 16:44

Ок, понял! В моей задаче ETL вне фокуса

miksoft Sep 14 2023 at 20:45

Мы пытались на SparkSQL сделать распределение платежей по просроченному кредиту на погашение самого кредита и процентов по нему. Так и не получилось. Пришли к выводу, что нужны или иерархические запросы, или переменные, или процедурное расширение, но ничего этого в SparkSQL нет (или мы об этом не знаем).

Show the best of all time