Oracle Database 11g: Data Warehousing Fundamentals

Содержание курса

Введение
Цели курса. Программа курса. Рекомендуемая предварительная подготовка к курсу. Демонстрационные схемы sh, dm и приложения, используемые в курсе. Информация об учетных записях, используемых на занятиях. Инструменты для работы с SQL и для организации хранилищ данных, используемые на данном курсе. Организация хранилищ данных в Oracle 11g , документация по SQL и сайт Oracle By Examples. Рекомендуемые курсы для продолжения обучения.

Хранилища данных, бизнес-анализ, OLAP и Data Mining
Определения и характеристики хранилищ данных. Хранилища данных, бизнес-анализ, витрины данных и системы интерактивной обработки транзакций (OLTP). Основные компоненты хранилищ данных. Основные подходы к разработке хранилищ данных. Технология извлечения, преобразования и загрузки данных (ETL). Многомерная модель и Oracle OLAP. Oracle Data Mining.

Определение терминологии и концепций хранилищ данных
Определения и характеристики хранилищ данных. Сравнение хранилищ данных с системами интерактивной обработки транзакций (OLTP). Сравнение хранилищ данных с витринами данных. Основные компоненты хранилищ данных. Основные подходы к разработке хранилищ данных. Компоненты процесса организации хранилищ данных. Стратегические аспекты полученных результатов. Анализ учебного примера: Roy Independent School District (RISD).

Создание модели бизнеса, логической, многомерной и физической модели
Основные вопросы, связанные с моделированием хранилищ данных. Создание бизнес-модели. Создание логической модели. Создание многомерной модели. Создание физической модели: звезда, снежинка и третья нормальная форма. Особенности таблиц фактов и таблиц измерений. Преобразование бизнес-измерений в таблицы измерений. Преобразование многомерной модели в физическую модель.

Физическое моделирование: анализ размеров хранилища данных, способов физического хранения объектов, производительности и информационной безопасности
Анализ размеров базы данных, оценка и обоснование выбора размера базы данных. Архитектурные преимущества базы данных Oracle. Секционирование данных. Индексирование. Оптимизация запросов типа "звезда": Настройка производительности запросов типа "звезда". Параллелизм. Обеспечение информационной безопасности хранилищ данных. Стратегия Oracle по обеспечению информационной безопасности хранилищ данных.

ETL-процессы: извлечение данных
Основные принципы ETL-процессов (извлечение, преобразование и загрузка данных), используемых для построения хранилищ данных. ETL-задачи, их важность и стоимость. Извлечение данных и изучение источников данных. Построение соответствий между данными источника и данными хранилища. Способы логического и физического извлечения данных. Приемы извлечения данных и управление извлечением метаданных. Возможные сбои в работе ETL и управление качеством ETL. Инструменты корпорации Oracle для ETL-процессов: Oracle Warehouse Builder, SQL*Loader и Data Pump.

ETL-процессы: преобразование данных
Определение преобразования. Удаленная и локальная модели промежуточной области. Аномалии данных. Стандартные подходы к преобразованию данных. Преобразование данных: Проблемы и решения. Качество данных: важность и преимущества. Виды преобразования и инструменты для преобразований. Управление преобразованием метаданных.

ETL-процессы: загрузка данных
Загрузка данных в хранилище. Перемещение данных с помощью плоских файлов, распределенные системы и перемещаемые табличные пространства. Модели обновления данных: Точные условия обработки. Построение процесса загрузки. Гранулярность данных. Технологий загрузки, поставляемые Oracle. Последующая обработка загруженных данных. Индексирование и сортировка данных, проверка целостности данных.

Актуализация (периодическое обновление) данных хранилища
Создание стратегии актуализации для отслеживания изменений в источниках данных. Требования пользователей и поддержка. Требования к окну загрузки. Планирование и расписание выполнения окна загрузки. Отслеживания изменений в источниках данных для обновления. Отметка времени и даты, триггеры базы данных и журнал базы данных. Применение изменений к данным. Заключительные задачи.

Материализованные представления
Использование итоговых данных для повышения производительности. Использование материализованных представлений для управления итоговыми данными. Типы материализованных представлений. Режимы построения и методы обновления. Обзор механизма перезаписи запросов. Процесс перезаписи запроса оптимизатором по стоимости. Работа с объектами-размерностями и иерархиями.

Ведение метаданных
Определение метаданных хранилища. Пользователи метаданных и типы метаданных. Изучение метаданных: метаданные ETL. Извлечение, преобразование и загрузка метаданных. Определение задач метаданных и предполагаемое использование. Идентификация пользователей полученных метаданных, выбор инструментов метаданных и подходов. Интеграция метаданных, генерируемых разными инструментами. Управление изменениями метаданных.

Рекомендации по внедрению хранилищ данных
Управление проектом. Спецификация или постановка требований. Логическая, пространственная и физическая модели данных. Архитектура хранилища данных. Рекомендации по технологии извлечения, преобразования и загрузки данных (ETL), по составлению отчетов и обеспечению безопасности. Управление метаданными. Тестирование внедрения и управление внесением изменений во внедренную систему. Некоторые полезные ресурсы и официальные издания.