Описание

Предисловие

В рамках этого курса изучаются общая теория построения архитектуры ETL-процессов, функциональные возможности инструмента IPC. Курс включает в себя теорию, лабораторные работы и самостоятельные задания, что обеспечивает базовые практические навыки в создании ETL процессов, их отладке и управлением их выполнения. Базовый курс обеспечивает получение знаний, которые потребуются для выполнения в повседневных задачах разработки ETL процессов инструментарием PowerCenter Informatica.

Курс рассчитан на разработчиков хранилищ данных c техническим образованием.

Рекомендуется знать/уметь (не обязательно):

• Модели данных Star Scheme, Data Vault
• Реляционную модель базы данных
• Методы хранения истории Slowly\fast changing dimensions
• Протокол подключения ODBC
• Виды стратегий обновления данных (insert\update, update\insert, truncate, insert only и прочие)
• Возможность чтения технической документации на английском

Программа курса:

1. Введение

• Понятие и назначение ETL;
• Возможности и реальное применение;
• Инструменты, входящие в PowerCenter Informatica и их назначение;
• Виды ETL процессов в PCI (mapping, maplet, session, workflow).

2. Работа с объектами репозитория, подготовка окружения для разработки ETL процессов

• Создание проекта, его настройки;
• Создание и использование коннекторов;
• Создание и использование динамических переменных и констант, параметров;
• Импорт метаданных (shortcut);
• Импорт и экспорт объектов репозитория;
• Создание и использование последовательностей ETL\СУБД.

3. Создание ETL процесса

• Создание mapping;
• Создание session;
• Создание workflow;
• Создание maplet;
• Настройки, запуск и виды запуска ETL процессов;
• Принципы дизайна mappings.

4. Отладка и тестирование

• Палитра инструментов по отладке;
• Запуск маппинга с различными значениями;
• Предварительный просмотр данных в таргете;
• Вывод в pipe;
• Файлы логов и настройка их хранения;
• Поиск ошибок.

5. Работа с файлами

• Чтение данных из файл;
• Запись данных в файл;
• Загрузки группы файлов идентичной структуры.

6. Работа с СУБД

• ODBC коннектор;
• использование процедур и функции СУБД;
• Применение Source Qualify для объединения данных из реляционных таблиц;
• Update Strategy и Router с применением insert/update к таргету;
• Инкрементальные загрузки в таргеты.

7. Преобразования

• Joiner\Lookup данных; Виды Lookup данных;
• drop\Reject\Fail\Continue стратегии связи данных;
• Фильтрация, преобразование, объединение данных;
• Агрегация данных;
• Сортировка данных.

8. Дополнительные возможности дизайна mappings

• Выравнивание трансформаций в маппинге;
• Применение ‘Autolink’ соединения портов;
• Применение ‘Select Link Path’ для просмотра связей между портами;
• Передача атрибутов портов в рамках маппинга.

9. Управление загрузками

• Настройка маршрута сессий;
• Создание «scheduler»;
• Создание «timer»;
• Создание «worklet»;
• Создание «event»;
• Создание touch файлов с использованием «command».