Apache Airflow 2.0 для аналитика [Stepik] [Дмитрий Новиков] [Повтор]

Складчина: Apache Airflow 2.0 для аналитика [Stepik] [Дмитрий Новиков] [Повтор]

О курсе

Добро пожаловать на курс Apache Airflow для аналитиков данных

Что вас ждёт:

• Текстовые/видео материалы и Google Colab по основам Airflow
• 5 практических заданий с проверкой преподавателя
• Множество тестов для самопроверки
• Экзамен где нужно обучить модель

Как устроен курс:

1. Краткий текстовый материал по теме, я старался писать простыми словами без воды, плюс видеоматериал
2. Практика в Google Colab, чтобы попробовать руками то о чём только что прочитал
3. Тестовые задания или практическая работа с проверкой преподавателем.

Какие темы затронем:

• Разберем что такое пайплайн и зачем нам DAG
• Изучим основы Airflow и напишем первый скрипт
• Разберемся с архитектурой и интерфейсом
• Установим свой Airflow в Docker
• Погрузимся в best practices по разработке

Что после?

После курса полученных знаний должно хватить чтобы внедрить этот инструмент у себя на работе, или пройти собеседование на позицию ETL девелопера.

Для кого этот курс
Начинающие аналитики, дата саентисты и ETL девелоперы которые хотят внедрить у себя данный инструмент или пройти собеседование в компанию в которой используют Airflow.


Курс предназначен для новичков+ которые уже умеют писать код на Питоне и готовы разбираться с новыми для себя темами.

Программа курса

Спойлер

Знакомство

1. Знакомство

Подготовительный модуль (в разработке)

1. ООП
2. Генераторы и Пандас
3. Bash и Linux

Введение в ETL: пишем свой пайплайн

1. Введение в ETL. Видео
2. Введение в ETL. Текст и задачи
3. Настройка окружения

Введение в Airflow: переносим пайплайн

1. Решение примера на Airflow. Видео
2. Решение примера на Airflow. Текст и задачи
3. Подробнее про код: хуки, xcom, контексты. Видео
4. Подробнее про код: хуки, xcom, контекст. Текст и задачи

Подробнее про Airflow

1. Архитектура
2. Веб интерфейс
3. Настройка

Разработка: best practices

1. Плагины и нотификация
2. Сенсоры и branch операторы
3. Автогенерация задач
4. Подготовка к экзамену

Финальный проект

1. Пайплайн для модели прогнозирования

Установка Airflow в Docker

1. Ликбез по Docker и WSL
2. Установка Airflow в контейнере

Продажник

Спойлер

Скрытая ссылка