Welcome to Spark
Тот, у кого в руке молоток, во всём видит гвоздь — глупо? А что если это не молоток, а универсальный инструмент, который может быть и бензопилой, и пылесосом, и зубной щёткой? В мире Big Data есть Hadoop и целый зоопарк инструментов, которые на него пашут, и каждый заточен под что-то своё. А ещё недавно там появился Spark, который можно применять для любых целей.
Если вы хотите писать в Hadoop с различных СУБД, стримить всякие источники в реальном времени, параллельно делать с данными какую-нибудь сложную обработку и не при помощи каких-то батчей, скриптов и SQL-запросов, а при помощи мощного функционального языка — добро пожаловать в Spark!
Данный тренинг познакомит вас с основными компонентами экосистемы Hadoop и раскроет перед вами возможности Spark-а. Вы узнаете, как он работает, какие задачи способен выполнять, как им правильно пользоваться. Мы обсудим проблемы и решения, с которыми поначалу сталкиваются неопытные Spark-разработчики. Разберёмся с его синтаксисом и всякими хитростями, а главное, я покажу, как можно писать Spark на Java при помощи известных вам фрэймворков, инструментов и концепций. Inversion of Control, design patterns, Spring framework, Maven/Gradle, Junit никуда не уходят — наоборот, вы увидите, что они могут помочь сделать ваше Spark приложение более элегантным, читабельным и привычным. Будет много заданий, live coding-а, и в конечном итоге вы выйдете с этого тренинга с достаточными знаниями, чтобы начать самостоятельно работать на Spark-e в привычном мире Java.
Программа
Введение в мир BigData
- Data locality
- Map reduce
- Проблема старых имплементаций, новый подход
- Импелементации Hadoop
- Cloudera
Hadoop и его зоопарк инструментов
- HDFS
- HBase
- YARN
- Hue
- Sqoop
- Flume
- Hive
- Impala
- Oozie
Теорминимум по Scala (не волнуйтесь, писать будем на Java!)
- Singleton objects
- Функциональное программирование
- Анонимные параметры
- Таплы
- Matcher pattern
Освежаем знания по Spring (для работы со Spark)
- Ознакомление со всеми модулями (Core, AOP, REST, MVC)
- Когда надо писать свои BeanPostProcessor-ы
- Как работать больше чем с одним контекстом
- Как настраивать бины, если часть нужной им информации приходит через аргументы main-а
Writing Spark with Java
- Ознакомление с основными модулями Spark
- Как Spark работает в кластерном режиме
- Spark Submit
- Spark API
- Scala vs Java
- Использование Spring при роботе со Spark
- Unit-test для Spark
- От REST-сервиса к Spark-у (написание цельного приложения)
Цена участия:
до 30 сентября — 20 000 руб.
с 1 октября — 24 000 руб.
Место проведения
ул. Якорная, дом 7, БЦ «Анкор», конференц-зал на 1ом этаже бизнес-центра.
Как добраться
Добраться до БЦ можно:
На трансфере от станции метро «Ладожская» (маршрутки с табличкой SEMrush на капоте и боковой двери). Остановка трансфера — у метро Ладожская: угол Гранитной улицы и Уткина переулка.
Или на общественном транспорте:
от станции метро «Новочеркасская»: На троллейбусе № 18, автобусе № 132, маршрутке № К118. (Выход из метро №6 на Новочеркасский пр)
от станции метро «Ладожская»: На маршрутке № 322 (Остановка на проспекте Энергетиков) Ехать необходимо до остановки ул Якорная/ул.Металлистов. Далее перейти Якорную улицу.
Бизнес-центр «Анкор» — пятиэтажное серое здание, с деревянными коричневыми панелями.
Билеты закончились
Если вы хотите купить билеты на следующий тренинг Евгения по Spark — напишите нам на tickets@jugru.org
