Симулятор A/B-тестов (2026) [karpov.courses] [Александр Давыдов]

Складчина: Симулятор A/B-тестов (2026) [karpov.courses] [Александр Давыдов]

Научитесь проводить A/B-тесты, приносящие пользу бизнесу, на тренажере с практическими заданиями
Обновленная программа! Новые темы и автор!

Зачем нужны А/В-тесты /?/
Проведение A/B тестов помогает оптимизировать маркетинговые кампании, сайты и приложения для достижения максимальных успеховС их помощью вы можете сравнивать два варианта контента, дизайна или функционала и выбрать тот, который приносит лучшие результаты. Это позволяет улучшить конверсию, повысить пользовательский опыт и принимать решения на основе данных, а не догадок

Чему научитесь

• Поймёте, как проводить множество экспериментов параллельно
• Сможете применить современные методы повышения чувствительности A/B-тестов
• Разберётесь, как проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
• Научитесь разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
• Освоите полный пайплайн (цикл) A/B-тестирования

Программа курса:

1. От роста CTR до границ эксперимента
Сможете распознавать ситуации, когда рост сводной метрики обманчив. Выстраивать порядок рассуждения при интерпретации дельты CTR в условиях колебаний. И на основе этого разграничивать корректные и некорректные объяснения смены лидера в A/B‑тесте

2. Метрики экспериментов
Будете подбирать набор метрик под продуктовую гипотезу, разрешать конфликты между ними и проверять защитные метрики. А затем сможете аргументированно принять решение о «выкате»

3. Статистическая неопределённость: язык для шума
Сможете определять соотношение сигнал/шум по готовым числам. Выявлять случаи, когда наблюдаемая разница объясняется случайной нестабильностью среднего. И объяснять, как размер выборки и окно агрегации влияют на стандартную ошибку

4. Причинность: почему A/B работает
По описанию продуктовой задачи сможете выбрать корректную единицу рандомизации, распознать в типовых кейсах spillover и сетевые эффекты. А также освоите отличие причинного вопроса от корреляционного

5. Проверка гипотез: H0, p‑value, ошибки
Корректно сформулируете нулевую и альтернативную гипотезы до запуска теста. Сможете интерпретировать p‑value без типичных ошибок и оценивать риски ошибок I и II рода в контексте конкретной бизнес‑задачи

6. Мощность теста, размер выборки и peeking
Сможете рассчитать необходимый размер выборки и длительность теста под заданный минимальный эффект (MDE). Применять sequential‑подход для легитимного промежуточного анализа и предотвращать подглядывание (peeking). И определять ситуации, когда A/B‑тест неприменим

7. Статистические критерии на практике
По типу метрики и характеристикам распределения выберите подходящий критерий: t‑test, Welch, z‑test, χ², Манна-Уитни или bootstrap. Сможете применять дерево решений для выбора теста в типовых кейсах и выявлять ситуации, в которых выбранный критерий даст некорректный результат

8. Виды метрик и анализ ratio
Сможете классифицировать метрику по типу: доля, поюзерная, ratio. Корректно рассчитывать дисперсию для ratio‑метрик через delta‑метод. И применять линеаризацию для CTR и аналогичных метрик

9. Дизайн эксперимента и смещения
Проверите баланс групп и SRM до начала анализа. Попробуете выявить смещение при распределении (assignment bias) в структуре эксперимента. А также заполните чек‑лист дизайна эксперимента перед его запуском

10. Диагностика и доверительные интервалы
Сможете интерпретировать результаты A/A‑теста и распределение p‑value под нулевой гипотезой. Формулировать корректную интерпретацию доверительного интервала для размера эффекта. И разграничивать статистическую и бизнес‑значимость при принятии решения о «выкате»

11. Снижение дисперсии: стратификация и CUPED
Примените стратификацию и пост‑стратификацию, реализуете метод CUPED с историческими ковариатами и попробуете скомбинировать его со стратификацией. Потренируетесь в очистке данные от выбросов перед анализом

12. Параллельные эксперименты и масштаб
Сможете по числу одновременных тестов выбирать корректную поправку на множественные сравнения: Бонферрони или Бенджамини-Хохберга. Определять ситуации, требующие switchback или geo‑эксперимента. И выявлять нарушения ортогональности слотов

13. Байесовский подход и многорукие бандиты (new)
По описанию продуктовой задачи попробуете выбрать между классическим A/B‑тестом и многоруким бандитом. Сможете интерпретировать апостериорное распределение (P (B>A)) для принятия решений и распознавать паттерны поведения Thompson sampling и UCB на графиках распределения трафика

14. Когда A/B недостаточно: квазиэксперименты (new)
Сможете подобрать метод квазиэксперимента под задачу: Diff‑in‑Diff, Causal Impact или PSM. А затем применить их к реальным данным. Сможете оценивать пределы достоверности полученного причинного вывода

15. Сквозной пайплайн: от данных до решения о выкате (new)
Проведете эксперимент end‑to‑end: проверите SRM и баланс, выберите метрики и критерий, рассчитаете эффект и доверительные интервалы для ratio‑метрик. Будете интерпретировать результаты с учётом защитных метрик и аргументированно обосновывать решение о «выкате». Защитите финальный проект — полный пайплайн A/B-теста в Jupyter Notebook

16. Проектирование автоматизированной системы оценки A/B‑тестов с ИИ (new)
Познакомитесь с архитектурой автоматизированной системы оценки A/B‑тестов. Узнаете, как с помощью ИИ-инструмента генерировать аналитический пайплайн под типовые шаги анализа. Сможете проектировать прототип системы от загрузки данных до отчёта

Автор и преподаватель курса: Александр Давыдов
Лид аналитики с 9+ годами опыта от продуктовой аналитики до руководства командой в Дзене (VK), inDrive, Ситидрайве, Самокате и Мегамаркете
Специализируется на A/B-тестировании, монетизации рекламы и принятии управленческих решений на данных — от методологии экспериментов до операционных систем аналитики

Цена: 55000 руб.
Скрытая ссылка