А/B тестирование [Тариф Продвинутый] [Simulative] [Аслан Байрамкулов]

Складчина: А/B тестирование [Тариф Продвинутый] [Simulative] [Аслан Байрамкулов]

Начните проводить эксперименты, которые покажут вам реальные выводы и приведут к выгодным решениям.
Авторский курс для аналитиков, продактов и всех, кто работает с данными.

Этот курс — для вас, если вы...

Аналитик данных
Метрики не красятся, не понимаю: эффекта нет или тест плохо спроектирован?
От меня ждут результатов, а я не знаю, как посчитать объем выборки
Знаю теорию по книжкам, но не умею писать код для продвинутых методов

Менеджер продукта или маркетолог
Делаем фичи, которые не взлетают. Как перестать тратить ресурсы впустую?
Не понимаю, верить ли аналитику?
Нужно защитить бюджет перед руководством, нужны твердые цифры

Руководите командой аналитиков
В компании проводят 5 тестов в месяц, а надо 50. Как автоматизировать платформу?
Команда делает простые ошибки в дизайне экспериментов, устаю от неэффективности

• получите уверенность в себе и своих навыках, прокачаетесь и сможете получить оффер в крупную компанию
• сможете говорить с аналитиками на одном языке и принимать решения, которые реально растят продукт
• выстроите культуру корректного A/B тестирования у себя в компании, сэкономите ресурсы и сможете принимать верные решения

Что вы сможете в результате?

• Проводить тесты, которые работают
  Глубоко погрузитесь в методологию, перестанете совершать распространённые ошибки и начнёте получать из A/B тестов реальные данные для принятия решений
• Найти ключ к выгодным решениям и росту
  Перестанете тратить время и ресурсы на убыточные сценарии и начнёте быстро и чётко выявлять то, что принесёт бизнесу рост
• Продвинуться в карьере
  Получите ценный набор навыков, станете более востребованным специалистом и сможете перейти на следующую карьерную ступеньку

Программа курса

• Урок 1. Введение в A/B тестирование: основы и бизнес-ценность
• Урок 2. Подготовка и планирование A/B теста
• Урок 3. Метрики в A/B тестировании
• Урок 4. Основы статистики для A/B тестирования
• Урок 5. Статистические гипотезы и проверка результатов
• Урок 6. Размер выборки и длительность теста
• Урок 7. Методы понижения дисперсии
• Урок 8. Работа со сложными метриками и метриками-отношениями
• Урок 9. Множественное и последовательное тестирование
• Урок 10. Интерпретация результатов и принятие решений
• Урок 11. Построение культуры экспериментирования
• Урок 12. Платформы и инструменты для A/B тестирования (продвинутый тариф)
• Урок 13. Продвинутые типы экспериментов (продвинутый тариф)
• Урок 14. Основы причинно-следственного вывода (продвинутый тариф)
• Урок 15. Продвинутые методы причинно-следственного анализа (продвинутый тариф)
• Урок 16. Заключительный практикум: от гипотезы до внедрения (продвинутый тариф)

Спойлер: Программа подробно:

Урок 1. Введение в A/B тестирование: основы и бизнес-ценность

• Что такое A/B тестирование и зачем оно нужно
• Эволюция A/B тестирования: от первых экспериментов до современных платформ
• Культура принятия решений на основе данных: успешные кейсы компаний
• Альтернативные методы принятия решений и их ограничения
• Основные сферы применения A/B тестов

Урок 2. Подготовка и планирование A/B теста

• Полный цикл A/B теста: от гипотезы до внедрения
• Формулирование гипотез (HADI, ICE, PIE)
• Определение целевой аудитории и выборки
• Планирование теста: длительность, размер выборки, критерии успеха
• Этические аспекты A/B тестирования

Урок 3. Метрики в A/B тестировании

• Типы метрик: пользовательские, бизнес-метрики, процессные
• Выбор целевой метрики и требования к ней
• Иерархия метрик
• Вспомогательные и контрольные метрики
• Эффект новизны и его влияние на результаты
• Смещения и искажения в метриках

Урок 4. Основы статистики для A/B тестирования

• Генеральная совокупность и выборка
• Среднее, медиана, процентили
• Стандартное отклонение и дисперсия
• Нормальное распределение и центральная предельная теорема
• Доверительные интервалы
• Визуализация распределений

Урок 5. Статистические гипотезы и проверка результатов

• Нулевая и альтернативная гипотезы
• Ошибки первого и второго рода и их бизнес последствия
• Уровень значимости и статистическая мощность
• Основные статистические тесты для A/B тестирования
• p value: корректная интерпретация и заблуждения
• Визуализация результатов тестирования

Урок 6. Размер выборки и длительность теста

• Минимальный детектируемый эффект (MDE)
• Расчет необходимого размера выборки
• Связь между альфой, мощностью, MDE и размером выборки
• Оптимальная длительность теста
• Сезонность и временные эффекты
• Компромисс между скоростью и точностью

Урок 7. Методы понижения дисперсии

• Проблема высокой дисперсии в данных
• Стратификация: принципы и применение
• CUPED: принципы работы и применимость
• Требования к ковариатам для CUPED
• Альтернативные методы снижения дисперсии

Урок 8. Работа со сложными метриками и метриками отношениями

• Метрики отношения: конверсия, ARPU, LTV/CAC, ROI
• Различия между простыми метриками и метриками отношениями
• Дельта метод для анализа отношений
• Линеаризация и бутстрэп
• Корреляции между метриками
• Краткосрочные и долгосрочные метрики

Урок 9. Множественное и последовательное тестирование

• Проблема множественных сравнений
• Методы коррекции: Бонферрони, Холма, Бенджамини Хохберга
• Параллельные A/B тесты и взаимодействие экспериментов
• Последовательное тестирование и проблема подглядывания
• SPRT и mSPRT
• Адаптивное распределение трафика

Урок 10. Интерпретация результатов и принятие решений

• Фреймворк интерпретации результатов
• Байесовский подход
• Влияние бизнес контекста
• Регламент принятия решений
• Типичные ошибки интерпретации
• Качественная оценка и количественные результаты

Урок 11. Построение культуры экспериментирования

• Создание системы A/B тестирования в компании
• Интеграция экспериментов в продуктовую разработку
• Масштабирование практики тестирования
• Обучение команды и развитие data культуры
• Преодоление организационных и технических барьеров

Урок 12. Платформы и инструменты для A/B тестирования

• Обзор платформ для A/B тестирования
• Компоненты системы экспериментирования
• Требования к системе в зависимости от масштаба
• Современная архитектура экспериментальных платформ
• Мониторинг качества экспериментов
• Интеграция с аналитической инфраструктурой

Урок 13. Продвинутые типы экспериментов

• Многорукие бандиты
• Квази и естественные эксперименты
• Switchback тесты
• Инкрементальные тесты и Ghost Ads
• Персонализированные эксперименты

Урок 14. Основы причинно следственного вывода

• Корреляция и причинность
• Модель потенциальных исходов Рубина
• Причинно следственные диаграммы
• Проблема спутывающих переменных
• Условия идентификации причинных эффектов
• Связь A/B тестирования и causal inference
• Ограничения традиционных A/B тестов

Урок 15. Продвинутые методы причинно следственного анализа

• Квази экспериментальные методы
• Difference in Differences DiD
• Instrumental Variables
• Regression Discontinuity Design RDD
• Synthetic Control Method
• Matching и Propensity Score Matching
• Интеграция causal методов в систему A/B тестирования

Урок 16. Заключительный практикум: от гипотезы до внедрения

• Полный цикл A/B тестирования на практике
• Типичные ошибки на каждом этапе
• Стратегии ускорения экспериментов
• Оценка влияния программы тестирования на бизнес
• Будущее методологии экспериментирования

Тариф Продвинутый
Цена: 68000 руб.
Скрытая ссылка