Управление качеством данных: Data Quality и мастер-данные [Otus] [Александр Бергер, Татьяна Водовозова]

Складчина: Управление качеством данных: Data Quality и мастер-данные [Otus] [Александр Бергер, Татьяна Водовозова]

Стратегии управления данными и практика интеграции реальных инструментов. Освойте лучшие практики Data Quality и Data Governance на курсе от опытных экспертов

Для кого этот курс?

• Аналитики и дата-инженеры, которые работают с данными
• Менеджеры данных и специалисты по Data Governance
• Руководители и специалисты по цифровой трансформации

Необходимые знания

• Понимание работы с данными – опыт работы с таблицами, SQL, Excel или BI-инструментами
• Базовые знания SQL – умение писать простые запросы (SELECT, JOIN, WHERE)
• Знание Python для аналитики данных
• Общий опыт работы с корпоративными данными – понимание, как хранятся и обрабатываются данные в компаниях

Программа

Data Quality: Бизнес-контекст, основы и ценность
В этом модуле вы разберёте, что такое Data Quality и почему его важно контролировать. Узнаете, какие проблемы возникают из-за плохого качества данных, какие существуют методологии, как строится процесс управления качеством данных в компании и как обосновать его ценность для бизнеса.

• Тема 1: Введение в Data Quality
• Тема 2: Основные проблемы данных: дубликаты, пропуски, несоответствия, аномалии
• Тема 3: Как обосновать ценность Data Quality: расчёт ROI и аргументы для руководства // ДЗ
• Тема 4: Методологии Data Quality: DMBOK, ISO 8000, Data Observability
• Тема 5: Data Governance vs. Data Quality – как связаны эти процессы
• Тема 6: Стандартизация данных: создание глоссария, оценка метрик и интеграция в процессы // ДЗ
• Тема 7: Кто отвечает за качество данных: роли, зоны ответственности
• Тема 8: Разбор реальных инцидентов качества данных // ДЗ

Инструменты: Интеграция, автоматизация и ML-валидация
В этом модуле вы рассмотрите различные инструменты для автоматизации контроля качества данных, изучите, как встроить их в архитектуру компании, в процессы ML и инженерных команд. Познакомитесь с OpenMetadata, Soda, dbt tests и другими решениями для контроля и управления данными, а также сравните эти решения.

• Тема 1: Инструменты DQ для РФ: сравнительный анализ и выбор
• Тема 2: Интеграция DQ-инструментов в существующую архитектуру данных
• Тема 3: Настройка проверок качества данных // ДЗ
• Тема 4: Как построить мониторинг качества данных: дашборды и алерты // ДЗ
• Тема 5: Data Quality в ML: валидация данных и борьба с дрифтом // ДЗ
• Тема 6: Разбор практического кейса // ДЗ

Оценка Data Quality: Метрики, профилирование и автоматизация
В этом модуле вы научитесь оценивать качество данных, вычислять основные метрики и разрабатывать правила проверки. Разберёте, как строить отчёты и дашборды.

• Тема 1: Метрики качества данных и стратегия внедрения
• Тема 2: Разработка бизнес-правил проверки данных // ДЗ
• Тема 3: Data Profiling: как анализировать данные и находить ошибки
• Тема 4: Разбор практического кейса // ДЗ

Управление DQ: Инциденты, регуляторика и Data Products
В этом модуле вы научитесь управлять инцидентами, выполнять регуляторные требования, проектировать Data Products (контракты, Data Mesh) и коммуницировать проблемы DQ бизнесу.
Тема 1: Управление инцидентами: процесс Data Quality Incident Management
Тема 2: Операционные метрики DQ: как принимать решения на основе данных // ДЗ
Тема 3: Регуляторные требования: GDPR, 152-ФЗ и предотвращение штрафов
Тема 4: Data Contracts и Data Mesh: распределённая ответственность за качество // ДЗ
Тема 5: Data Storytelling: как визуализировать и презентовать DQ-проблемы бизнесу
Тема 6: Повышение data literacy в компании: стратегии и практики
Тема 7: Q&A-сессия + анализ реальных кейсов

Проектная работа

После обучения вы сможете:

• Внедрять процессы Data Quality и Data Governance в компании;
• Автоматизировать контроль качества данных с помощью современных инструментов
• Работать с метаданными, Data Catalog и управлять бизнес-терминами
• Настраивать и оптимизировать проверки качества данных (DQ Checks)
• Выстраивать взаимодействие между бизнесом, IT и аналитиками для управления данными

Дополнительно на курсе вы:

• Будете работать над проектами, которые можно адаптировать под свою текущую работу, создавая решения для реальных задач
• Изучите современные инструменты и актуальные решения и сможете использовать их в реальных проектах

Инструменты, которые вы освоите:

• Soda – инструмент для автоматизации контроля качества данных. Он позволяет настроить проверки качества данных, отслеживать ошибки и генерировать отчёты для принятия решений
• OpenMetadata – платформа для управления метаданными, которая позволяет строить Data Catalog, отслеживать lineage данных и организовывать процессы Data Governance
• Airflow – инструмент для автоматизации рабочих процессов и ETL-пайплайнов. Он помогает создавать, планировать и отслеживать задачи в рамках данных процессов, обеспечивая прозрачность и контроль

Преподаватели

• Александр Бергер. Lead Data Quality. Руководитель курса
• Татьяна Водовозова. Руководитель направления DWH аналитики
• Павел Ташкинов. Дата-стюард
• Наиля Галимова. Lead в Data Governance
• Руслан Усачёв. Data Engineer / Data Quality Specialist

Цена: 75000 руб.
Скрытая ссылка