Moscow Spark #5

Как класть Parquet

Фёдор Лаврентьев, Data engineer @ Front Tier

Я, конечно, расскажу, зачем вообще Parquet нужен, как устроен, почему он такой компактный и так быстро работает — но это всё вы и так знаете.

Хардкор будет про то, почему Parquet работает медленно, так много занимает, как на нем глючат Spark, Sqoop и Impala, и как можно ускорить весь кластер на порядок, немного переписав ETL-фреймворк. Под конец будут упражнения для развития эрудиции — сравнения с другими файловыми форматами, а также аналогии из мира колоночных СУБД.

Mist — Serverless proxy for Spark

Вадим Челышов, Разработчик @ hydrosphere.io

Из коробки у пользователей Spark для запуска приложений нет ничего кроме spark-submit. Чтобы дойти до продакшена, нам приходится решать одинаковые для всех задачи: как запускать джобу, как доставлять ее до кластера, как обрабатывать ошибки и, возможно даже, как это все масштабировать. Я буду рассказывать про такую штуку как Mist, цель которого разом решить все эти вопросы, заменив традиционное описание джобы как application на function.

Хайп на хайпе хайпом погоняет (или глубокое обучение на Spark)

Павел Клеменков, Chief Data Scientist @ Nvidia

Конечно же Spark уже стал стандартом в мире больших данных и Spark ML уже не так плох, позволяя удобно обучать классические модели машинного обучения, легко их деплоить и, даже, делать это на потоках реального времени. Но что же делать ИИ-апологетам? Довольствоваться многослойным персептроном? Хочется надеяться, что нет. В этом докладе я начну погружать себя и вас в мир DL на Apache Spark. Пробежимся по основным библиотекам и надстройкам, поймем насколько хорошо они интегрируются в наш любимый фреймворк и как все это можно докатить до прода?