Всем привет! А вот и новый Moscow Spark #9! Как и полагается в конце года, подведем итоги и заглянем в следующий год, обсудив Spark + AI Summit 2019 Europe. Узнаем, как правильно тестировать наши джобы и подискутируем про жизненный цикл ML моделей. А еще разыграем классный рюкзак с саммита среди самых пассионарных участников. Приходите, будет интересно!
Spark + AI Summit Europe 2019. Как это было?
Павел Клеменков, Chief Data Scientist (Data Platform) @ NVIDIA
Андрей Титов, Senior Spark Engineer @ NVIDIA
Андрей Жуков, Главный инженер данных @ С7 Техлаб
Алексей Белов, Тимлид @ Сбербанк
В середине октября в Амстердаме прошел Spark + AI Summit. Конференция по Apache Spark, собравшая почти 2500 участников и докладчиков. Мы расскажем, как это было, сделав обзор наиболее понравившихся докладов.
Apache Spark Unit Testing
Евгений Лопаткин, Data Engineer @ Tele2
Прошло 5 лет с момента первого релиза Apache Spark. Тем не менее, в официальной документации по-прежнему отсутствует раздел Unit Testing. Конечно, это не значит, что код Spark не тестируется перед релизом. Более того, Apache Spark имеет обширный фреймворк для юнит тестирования, о котором Spark Commiters не успели рассказать в документации. О нем мы и поговорим.
Автоматизация жизненного цикла ML моделей
Лев Рагулин, Руководитель разработки платформы ML @ One Factor
Я поделюсь как в One Factor решаются проблемы сбора и подготовки данных, создания и публикации моделей. Также обсудим, зачем мы cоздали свою платформу и разберемся с существующими аналогами (mlflow, fbleaner, kuberflow)
Как добраться?
На 1-м этаже будет регистрация. Для того, чтобы попасть на конференцию необходимо иметь при себе паспорт, после регистрации, следуя указателям подняться на 4-й этаж через лифтовую группу B. На 4-м этаже, также следуя указателям, пройти в атриум.