Accelerating Apache Spark 3.0 with RAPIDS

Sameer Raheja @ NVIDIA

We’ll dive into the RAPIDS Accelerator for Apache Spark, an open-source plugin that leverages columnar data processing with RAPIDS to accelerate ETL processing on Apache Spark and GPUs without changes to the user’s query code. We’ll cover how the accelerator plugin interacts with Spark’s Catalyst SQL optimizer to automatically modify query plans and call into the RAPIDS libraries to use GPUs during the query. New plugin features, such as support for Spark’s Adaptive Query Execution and early support for automatic user-defined function handling, will also be discussed. Performance results from running on DGX-2 and in the cloud will be shown. 

Love to Frankenstein’s monster: Kotlin for Apache Spark

Паша Финкельштейн, разработчик и серийный спикер @ JetBrains

Я давно начал пробовать Kotlin. Пробовал воткнуть его всюду. Я писал на нём ботов. Я писал на нём в банках. Я писал на нём петпроджекты. Но в какой-то момент я стал дата инженером, а там Kotlin не в почёте — это царство скалы и питона. Но червячок надежды точил меня до тех пор, пока я не понял, что пора писать поддержку своих любимых инструментов для Kotlin, но…

Поговорим о том:

• Почему написать Kotlin for Apache Spark оказалось непросто
• Что я узнал про Kotlin и про Spark
• Почему Kotlin for Apache Spark может быть полезен тем, кто использует спарк из других языков
• И что ещё предстоит сделать,чтобы сделать API ещё лучше!

Apache Spark Integration Testing

Евгений Лопаткин, Data Engineer @ Tele2

Второе и заключительное выступление про тестирование Spark приложений. Посмотрим, как писать интеграционные тесты с HDFS, базами данных, Hive, Kafka, Естественно, разбираем подходы к интеграционному тестированию ребят из Spark Commiters, и немного своего опыта в моментах, которые считаю полезными, но не нашел в репозиторях Apache.

Унификация процесса разработки Spark заданий с помощью стандартизации процессов и использования библиотеки ZIO

Олег Ерасов, старший разработчик @ Tele2

Дмитрий Лахвич, руководитель группы разработки @ Теле2

Рассмотрим на примере нашего проекта как можно унифицировать разработку Spark заданий и какие проблемы это помогает решить. Поговорим о самом процессе запуска, управлением конфигурацией, а также о ZIO.

Спарк и отвращение в Кубернетесе

Иван Морозов, инженер данных @ С7 Техлаб

Олег Ильинский, инженер данных @ С7 Техлаб

Расскажем о наших невероятных приключениях с разворачиванием в кубах спарка: как это варится, как оно по сравнению со standalone/YARN, получится ли из спарка stateless, зачем нужен оператор, а также о том, что там приготовил Spark 3.0.