Работа с Apache Spark 3.5 на Python

Код: ITC-PySpark3

Формат проведения

-

Продолжительность

40 академических часов

Вендор

Python

Тематика

Разработка
vendor

Аудитория курса

Курс предназначен для исследователей, разработчиков и специалистов по анализу данных, планирующих использовать Python для решения задач, связанных с обработкой больших объемов данных с помощью Apache Hadoop и Apache Spark

Содержание курса

Модуль 1. Обзор архитектуры Hadoop
 
  • Алгоритм MR
  •  Менеджер ресурсов YARN
  •  Распределенная система хранения файлов HDFS
  •  Важнейшие компоненты экосистемы Hadoop
  •  Практическая работа
Модуль  2. Архитектура Spark
  • Устройство Spark
  • Кластерные планировщики для Spark
  • Фрейм данных
  • Основа фрейма - RDD
  • Практическая работа
Модуль 3. Поглощение данных (ingestion)
 
  • Принцип ленности (lasy)
  •  Загрузка данных из файла
  •  Загрузка из баз данных
  •  Практическая работа
Модуль 4. Углубленные способы обмена данными
 
  • Работа с JSON
  •  Работа с XML
  •  Стандартные форматы для больших данных
  •  Процесс потребления из баз данных
  •  Расширенные запросы
  •  Обзор потребления из других источников
  •  Создание и обнаружение доступных источников.
  •  Структурированные потоки
  •  Практическая работа
Модуль 5. Трансформация данных

  •  Spark SQL
  •  Трансформация данных на уровне записи
  •  Трансформация документов в целом
  •  Трансформация на основе UDF
Модуль 6 Углубленные возможности Spark

  •  Кэширование.
  •  Экспорт.
  •  Конвейеры обработки.
  •  Развертывание приложения.
  •  Практическая работа.
Модуль  7 Обзор MLlib

  • Статистика
  •  Источники данных
  •  Конвейеры
  •  Извлечение, преобразование, выбор признаков
  •  Практическая работа
  •  Классификация и регрессия
  •  Кластеризация
  •  Коллаборативная фильтрация
  •  Распознавание образов
  •  Выбор и настройка модели
  •  Практическая работа
Работа с Apache Spark 3.5 на Python
Дата скоро будет объявлена
79 998 ₽
Подать заявку

Как происходит обучение в АйТи Клауд

01 Выбор курса

В Учебном центре «АйТи Клауд» Вы можете подобрать курсы с полезным для Вас содержанием. УЦ «АйТи Клауд» готов предложить 1200+ программ различной тематики и степени сложности. Мы проводим курсы, авторизованные производителями ИТ, и также авторские программы от ведущих ИТ-экспертов.

02 Процесс обучения

Вы можете пройти обучение в различных форматах:

  • в очном - на территории Учебного центра либо территории Заказчика,

  • онлайн - на российской онлайн-платформе в режиме реального времени, через интернет, с выполнением всех необходимых практических заданий под онлайн-руководством преподавателя. 


03 Выдача документов

По завершении обучения Вы получите удостоверение о повышении квалификации или сертификат (если у Вас отсутствует диплом о высшем образовании). После обучения на авторизованных курсах Вам также будет выдан сертификат от производителя.

poster