Realtime Analytics [Newprolab] [Игорь Мосягин]

Складчина: Realtime Analytics [Newprolab] [Игорь Мосягин]

После DLC вы сможете собрать и отладить полноценный пайплайн для realtime analytics: забрать изменения из Postgres через CDC, передать их в Kafka, посчитать метрики в ClickHouse и отдать их через API — а также диагностировать типовые поломки по лагу, свежести и контрактам данных.

Кому подойдет этот курс:

• Выпускникам core-программы, которые хотят следующий практический шаг.
• Middle и middle+ Data Engineer, которые уже сталкиваются с Kafka, CDC, ClickHouse или realtime-метриками.
• Backend- и data-инженерам, которым начали отдавать realtime-задачи.
• Инженерам, которым важно не только «поднять стек», но и понимать, как он ломается.

Какие инструменты освоите:

• Debezium
• Kafka
• ClickHouse
• PostgreSQL
• FastAPI
• CDC
• Python
• Docker
• Monitoring
• Schema Evolution

Что вы сможете после DLC:

• Собрать полный процесс обработки realtime-данных
  Вы соберёте сквозной пайплайн от источника до API и сможете объяснить каждое звено: зачем оно нужно и как влияет на остальные.
• Проектировать метрики для freshness и SLA
  Вы научитесь определять, насколько свежи данные, и строить метрики, по которым видно, выполняется ли SLA по задержке и качеству.
• Дебажить инциденты в проде
  Дубли, пропущенные события, lag, schema drift, неверные данные — вы научитесь находить причину и восстанавливать пайплайн.

Программа

Неделя 1: Realtime mindset, локальный стенд, CDC

1) Architecture kickoff

Теория

• Что такое realtime analytics в инженерном смысле: latency, freshness, SLA, throughput, correctness
• Типовой prod: CDC → Kafka → OLAP → API
• Где в realtime-пайплайнах возникают ошибки: источник, транспорт, схема, агрегация, serving, monitoring
• Как диагностировать pipeline: lag, offsets, row counts, freshness timestamps, API latency

Практика
Поднять локальный docker-compose стенд с Postgres, Kafka, Debezium, ClickHouse, FastAPI. Проверить связь всех компонентов и научиться смотреть логи.

2) CDC basics

Теория

• CDC: зачем он нужен и чем отличается от batch export
• Debezium: snapshot и streaming
• Семантики insert/update/delete в контексте потоковых данных
• Event envelope, keys, ordering, tombstones
• Эволюция схемы и контракт данных между источником и приёмником

Неделя 2: Kafka ingestion, надежность событий

Kafka refresher

Теория

• Topics, partitions, offsets, consumer groups
• At-least-once delivery и практические последствия. Другие семантики и их сложности
• Idempotency и дубли на уровне downstream
• Backpressure, in-flight и lag: как возникают и как диагностируются
• Контракты для событий: naming, versioning, required fields

Практика
Написать producer/consumer для тестовых событий. Смоделировать задержку consumer и увидеть lag. Добавить тестовые дубли и проверить, как downstream должен на них реагировать.

Неделя 3: ClickHouse, ingestion, realtime-агрегации

OLAP
Теория

• Почему для realtime analytics нужен быстрый OLAP
• Kafka Engine / ingestion pattern в ClickHouse и как его настроить и мониторить
• Raw events vs serving tables, materialized views и incremental aggregation
• Replacing/Summing/AggregatingMergeTree: когда они нужны и где легко ошибиться
• Freshness как часть модели данных

Практика
Подключить ClickHouse к Kafka events. Создать raw events table. Построить materialized views для бизнес-метрик. Посчитать метрики по time window, entity, status/event type. Добавить freshness timestamp.

Неделя 4: FastAPI metric service и начало проекта

API
Теория

• Зачем нужен API поверх OLAP, если есть дашборды
• Metric endpoints: filters, grouping, time range, pagination/limits
• Cache: где помогает, где вредит freshness
• API-level freshness checks
• Error semantics: когда отдавать stale response, warning или возвращать ошибку

Практика
Реализовать FastAPI service поверх ClickHouse. Добавить endpoints для нескольких метрик. Поддержать time range и group by. Добавить cache для тяжелого запроса. Добавить freshness check.

Неделя 5: Ops drill и продолжение проекта

Дебаг
Теория

• Как дебажить realtime pipeline: подход, системность, сигналы
• Runbook для инцидента: симптом, blast radius, гипотеза, проверки, fix, prevention
• Лаги: source lag, Kafka lag, ClickHouse ingestion lag, API freshness
• Schema drift: что ломается и как увидеть раньше пользователя
• Wrong numbers: как сверять source, raw layer, aggregates и API

Практика
Получить заранее сломанный pipeline. Найти причину lag. Найти schema drift и предложить совместимое исправление. Найти причину неправильной метрики. Написать incident note и recovery plan.

Неделя 6: Проверка проекта, демо и защита

Финальная подготовка
Теория

• Как объяснять инженерные решения: latency vs correctness, cost vs freshness, simplicity vs flexibility
• Как презентовать pipeline на собеседовании или внутри команды
• Финальный разбор типовых ошибок перед защитой

Защита проектов

Теория

• Demo на тестовых событиях
• Разбор одной поломки и диагностики
• Вопросы по semantics, freshness, duplicates, schema drift

Цена 40000 руб.
Скрытая ссылка