Курс Основы Apache Spark

Код: ITCloud-ASF

Продолжительность курса

24 Академических часа

Ближайшие курсы

Ноябрь
Курс дает представление об основах Apache Spark и методах разработки приложений, обрабатывающих данные на его основе. Рассматриваются как базовые возможности Spark  (RDD), так и проекты, расширяющие их набор: Spark SQL, Spark Streaming, MLLib, Spark ML, GraphX.

Стоимость курса

24 000 руб
Заказать

Цели курса:

  • Понимать ключевые концепции и архитектуру Spark;

  • Разрабатывать программы обработки данных как последовательности преобразований RDD;

  • Разрабатывать программы обработки данных на SQL;

  • Обрабатывать потоковые данные;

  • Использовать готовые алгоритмы машинного обучения и анализа графов;

  • Уметь переносить данные между Spark и внешними системами (Kafka, Cassandra)

Аудитория

  • Разработчики
  • Архитекторы

От слушателя требуется

  • базовые навыки программирования на Java;

  • умение работать в командной оболочке Unix/Linux (bash);

  • опыт работы с базами данных желателен, но не обязателен.

Содержание курса

  • Основные концепции и архитектура Spark;

  • Программирование с RDD;

  • Использование RDD с парами ключ/значение;

  • Загрузка и сохранение данных;

  • Аккумуляторы и широковешательные переменные;

  • Spark SQL, DataFrames, Datasets;

  • Spark Streaming;

  • Машинное обучение с использованием MLLib и Spark ML;

  •  Анализ графов с использованием GraphX.