A/B тестирование [Тариф Базовый] [Павел Бухтик]

Складчина: A/B тестирование [Тариф Базовый] [Павел Бухтик]

Не уверен в своих А/Б тестах?

Научись дизайнить и проводить эксперименты
как в Google, Uber и Amazon, а также выстраивать experiment-driven культуру с нуля.

Для кого этот онлайн-курс:
- Для аналитиков, которые все еще не уверены в своих навыках и знаниях проведения А/Б, не ощущают структурного понимания в своей голове;
- Тех, кто хочет выстроить experiment-driven культуру в своей компании и выделиться этим на следующем performance-review.
- Тех, кто не работал с А/Б или у кого их было мало, из-за чего получает отказы на собеседованиях по причине отсутствия достаточного практического опыта и понимания теории;
- Для продуктовых менеджеров, продуктовых дизайнеров, продуктовых маркетологов и всех, кто связан с продуктом и хочет перенять лучшие практики проведения А/Б тестов. Для вас – отдельные от технических специалистов домашки и внимание.

Ты по адресу, если что-то из этого – про тебя:
- Не знаешь, как правильно задизайнить эксперимент; путаешься, когда и почему применять тот или иной стат. критерий; не уверен в глубине и корректности результатов эксперимента, которые подводишь;
- Работаешь с А/Б платформой, а все что внутри – черный ящик, которому ты слепо доверяешь.
- Не проводил А/Б на практике, но очень хочешь приобрести практический опыт, подизайнить эксперименты, подсчитать и интерпретировать результаты для парочки тестов под присмотром опытных наставников.
- Получаешь отказы на интервью из-за того, что мало работал с А/Б экспериментами.

Это твой портрет после онлайн-курса:

- У тебя есть структурное понимание проверки любых продуктовых гипотез;
- У тебя выработана четкая последовательность действий для валидации бизнес-аспектов, дизайна, запуска, сопровождения, подведения итогов, презентации результатов и закрытия экспериментов;
- Ты можешь выстроить процессы и методологию А/Б с нуля в компании, в которой до этого никогда ранее не проводились эксперименты;
- Интервьюеры недоумевает, откуда ты столько знаешь про А/Б тесты, учитывая описанный тобой опыт в резюме.

Спойлер: Программа занятий:

Блок про культуру А/Б тестирования в компаниях:

1. Поговорим про культурные аспекты развития experiment-driven культуры и развития аналитической культуры в компании в целом. Обозначим, как А/Б тесты и другие виды экспериментов интегрируются в цели и процессы компании.
   
   
2. Порешаем кейсы, связанные с культурными аспектами проведения экспериментов. В частности о том, как выводить А/Б тесты и аналитику на качественно новый уровень.

Блок фундамента А/Б:

1. Обсудим, какие бывают метрики бизнеса и продукта, плюсы и минусы различных их классификаций. Разберемся, как правильно мыслить гипотезами.
   
   
2. Научимся выбирать хорошие метрики для продуктовых гипотез и правильно строить структуры метрик на базе пирамиды метрик.
   
   
3. Обозначим типовой жизненный цикл А/Б экспериментов. Поговорим про метрики экспериментов – ключевые, заградительные, прокси и информационные метрики. Научимся принимать взвешенные решения на основе этих метрик.
   
   
4. Для конкретных продуктовых кейсов подберем удачные метрики экспериментов.
   
   
5. Пройдемся по основным статистическим понятиям в контексте А/Б (H0 / H1 / alpha / мощность, p-value, MDE, размер выборок и т. д.). Разберем разновидности метрик экспериментов и статистические критерии для работы с ними. Познакомимся с симуляциями Монте-Карло и тем, почему они играют большую роль в А/Б.
   
   
6. Аналитически и с помощью симуляций расчитаем размер выборки для различных метрик и критериев. Сравним стат. критерии между собой.
   
   
7. Расскажу о том, как устроена система сплитования в крупных компаниях, и как ты можешь внедрить подобную систему самостоятельно в своей компании. Научимся проверять корректность работы системы сплитования с помощью А/А тестов.
   
   
8. Спроектируем и реализуем собственную систему сплитования. Посмотрим, как это делается в реальных условиях.

Блок про дизайн и проведение А/Б:

1. Погрузимся в бизнес аспекты дизайна экспериментов. Научимся считать unit-экономику теста, разберем алгоритм подбора MDE. Проговорим, как обсуждать дизайн АБ-теста со стейкхолдерами. Поймём, когда нужно разбивать группы несбалансированно.
   
   
2. Проведем сессию по сбору и утверждению требований для АБ-теста. Также ты научишься быстро прикидывать MDE и считать точку безубыточности, что улучшит твою коммуникацию с продактом.
   
   
3. Научимся дизайнить и проводить эксперименты как профессионалы. Обсудим, как оценивать SRM / SSRM. Поймем, как обнаружить и побороть эффект новизны. Поговорим о том, как подводить итоги и завершать эксперимент. Обсудим, как увеличить число экспериментов через А/Б-платформу.
   
   
4. Подизайним АБ-эксперименты – от гипотезы до презентации результатов.
   
   
5. Научимся работать Ratio-метрики – через линеризацию, бутстрэп и бутстрэп-пуасона, дельта-метод. Расскажу о плюсах и минусах каждого подхода. Разберем проблему усреднения.
   
   
6. Задизайним эксперимент с Ratio-метрикой. Пройдемся по основным методам работы с Ratio-метриками и сравним их на практике.
   
   
7. Поговорим о различных сценариях, в которых возникает проблема множественного сравнения. Разберем все разновидности множественного тестирования – много веток эксперимента, много метрик в эксперименте (независимых и зависимых), а также гибридные варианты. Определим лучшие практики для работы с каждым сценарием. Здесь же обсудим Sequention-подход, его плюсы и минусы.
   
   
8. Подизайним эксперименты с каждым из сценариев проблемы множественного сравнения. Посмотрим, на сколько Sequention-подход ускоряет и почему он может не взлететь.

Блок продвинутых тем в А/Б:

1. Поговорим о том, как провести А/Б, когда А/Б провести не удастся. Рассмотрим такие методы, как Diff-in-Diff, Causal Impact, PSM, Matching Methods, Inst variables и подобные.
   
   
2. Порешаем кейсы и сравним каждый из методов. Определим, когда и какой лучше применять.
   
   
3. Обозначим и разберем основные способы ускорения проведения экспериментов – прокси-метрики, стратификация, CUPED, VWE, ранговая трансформация, формирвание ML-метрик и подобные.
   
   
4. Разберем кейсы дизайна АБ-тестов, начиная с момента, когда нам не хватает времени / выборки и на практике посмотрим, как разные подходы повлияют на скорость. Обудим результаты применения разных способов сокращения дисперсии в компаниях.
   
   
5. Узнаем, как проводить эксперименты с сетевым эффектом. Научимся выделять альтернативные единицы рандомизации, дизайнить тесты синтетическим контролем и поймем, как дизайнить эксперименты в социальных сетях.
   
   
6. Научимся видеть сетевые эффекты и подизайним эксперименты с ними. Например, на поиске HH, с дарксторами Samokat и Ozon Fresh, с ценообразованием Яндекс.Доставки, для пунктов выдачи Avito.

Программа может меняться и дополняться в процессе курса в зависимости от индивидуальных особенностей и потребностей потока.

Тариф Базовый
Для тех, кто хочет просто получить материалы и двигаться в своем темпе

• Все теоретические и практические занятия из программы
• Записи занятий
• Без доступа к чату
• Без проверки домашек

Цена: 35000р.
Скрытая ссылка
Скрытая ссылка