ГлавнаяКурсыITCloudDevOpsЭксплуатация Apche Kafka

Эксплуатация Apche Kafka

Код: ITC-Kafka

Apache Kafka — это высокопроизводительная распределённая система обмена сообщениями, которая стала стандартом де-факто для работы с потоками данных. Курс предназначен для начинающих и предлагает изучение базовых концепций, архитектуры и практических аспектов работы с Kafka. Слушатели научатся настраивать кластер, отправлять и получать данные, а также использовать Kafka для решения реальных задач обработки данных. Программа включает в себя теоретические занятия и лабораторные работы для закрепления знаний.

Формат проведения

Продолжительность

24 академических часа

Вендор

ITCloud

Тематика

DevOps

Вы научитесь

понимать архитектуру и основы работы с Apache Kafka
настраивать кластер
работать с потоками данных
использовать Kafka для решения реальных задач

Аудитория курса

Разработчики программного обеспечения, желающие изучить основы работы с Apache Kafka.
Системные администраторы и DevOps-специалисты, заинтересованные в настройке и поддержке Kafka
Аналитики данных и специалисты по обработке потоков данных
Начинающие специалисты, желающие освоить распределённые системы обмена сообщениями

Содержание курса

Модуль 1. Основы Apache Kafka (8 ак.ч.)
1. Введение:
• Что такое Apache Kafka?
• Основные сценарии использования (стриминг данных, системы обмена сообщениями, логирование).
• Ключевые концепции: топики, партиции, брокеры, продюсеры, консумеры.
2. Архитектура Apache Kafka:
• Компоненты Apache Kafka.
• Принципы работы Kafka: репликация, устойчивость, производительность.
• Роль ZooKeeper (Quorum Controller).
3. Установка и настройка:
• Установка Kafka.
• Конфигурационные файлы Kafka и ZooKeeper.
• Настройка нескольких брокеров в кластере.
• Лабораторная работа: запуск кластера Kafka.

Модуль 2. Работа с данными в Kafka (8 ак.ч.)
1. Основные API Kafka:
• Producer API: отправка данных в Kafka.
• Consumer API: получение данных из Kafka.
• Admin API: управление топиками.
2. Практическая работа с топиками:
• Создание, удаление и настройка топиков.
• Концепция партиций и их влияние на производительность.
• Лабораторная работа: создание топиков и работа с ними.
3. Продюсеры и консумеры:
• Конфигурация и настройка продюсеров и консумеров.
• Устойчивость данных: механизм подтверждения (acks).
• Группы консумеров и распределение нагрузки.
• Лабораторная работа: разработка приложения для отправки и чтения сообщений.

Модуль 3. Продвинутые возможности и использование Kafka (8 ак.ч.)
1. Потоковая обработка данных с Kafka Streams:
• Основы Kafka Streams API.
• Создание топологии потоков данных.
• Лабораторная работа: создание приложения с Kafka Streams.
2. Интеграция Kafka с другими системами:
• Использование Kafka Connect для интеграции.
• Примеры коннекторов: JDBC, Elasticsearch, HDFS.
• Лабораторная работа: настройка коннектора.
3. Администрирование и мониторинг Kafka:
• Мониторинг состояния кластера.
• Использование инструментов (Kafka Manager, Prometheus, Grafana).
• Решение типичных проблем.
4. ksqlDB:
• Источники и приемники
• Потоки и таблицы
• Преобразования
• Непрерывные запросы
• Окна
• Агрегирование
• Транзакции
• Развертывание кластера ksqlDB
5. AI и Machine Learning с Kafka:
• Роль Kafka в мире AI (Real-time vs Batch)
• Real-time Inference: Как модели работают в потоке
• RAG-архитектура и LLM (ChatGPT и ваши данные)
• ksqlDB и ML: Предсказания на SQL
• Python-экосистема для Data Scientist

Эксплуатация Apche Kafka

Екатеринбург

07 октября 2026 - 09 октября 2026

66 533 ₽

Как происходит обучение в АйТи Клауд

01 Выбор курса

В Учебном центре «АйТи Клауд» Вы можете подобрать курсы с полезным для Вас содержанием. УЦ «АйТи Клауд» готов предложить 1200+ программ различной тематики и степени сложности. Мы проводим курсы, авторизованные производителями ИТ, и также авторские программы от ведущих ИТ-экспертов.

02 Процесс обучения

Вы можете пройти обучение в различных форматах:

в очном - на территории Учебного центра либо территории Заказчика,
онлайн - на российской онлайн-платформе в режиме реального времени, через интернет, с выполнением всех необходимых практических заданий под онлайн-руководством преподавателя.

03 Выдача документов

По завершении обучения Вы получите удостоверение о повышении квалификации или сертификат (если у Вас отсутствует диплом о высшем образовании). После обучения на авторизованных курсах Вам также будет выдан сертификат от производителя.

Подробнее о формах обучения