val6789 Apr 15 at 09:12Spark. План запросов на примерахLevel of difficultyMediumReading time7 minViews4KSQL*Apache*Big Data*Data storage*Data Engineering*FAQTotal votes 7: ↑7 and ↓0+8Add to bookmarks49Comments4
Sanek_new Apr 16 at 13:16Вот почему я не понимаю планы... И не знаю что сделать чтобы начать понимать.
miksoft Apr 17 at 23:03Comment has been editedShow previous commentчто сделать чтобы начать Можно начать с планов в картинках. SparkUI довольно сносно их отображает, если, конечно, запрос не слишком сложный.
miksoft Apr 17 at 23:08BroadcastExchange – это копирование правого датафрейма на каждый экзекьютор. Дополню, что предварительно этот датафрейм собирается на драйвере. Соответственно, driver.memory (емнип) должен быть достаточен.
Spark. План запросов на примерах