СТАРТ ПРОГРАММЫ
ОСЕНЬ 2022
ФОРМАТ ОБУЧЕНИЯ
ОНЛАЙН
КОМУ ПОДОЙДЁТ
МОЖНО С НУЛЯ
ДЛИТЕЛЬНОСТЬ
5 НЕДЕЛЬ
АЛЕКСАНДР САХНОВ
Расскажем всё о проведении экспериментов в компаниях
СИМУЛЯТОР
A/B-ТЕСТОВ
|
ПРИНИМАЙТЕ ОПТИМАЛЬНЫЕ РЕШЕНИЯ НА ОСНОВЕ ДАННЫХ
X5 Retail Group, хедлайнер симулятора
АЛЕКСАНДР САХНОВ
В бизнесе ежедневно принимаются сотни решений. Часто сложно понять, какое решение будет оптимальным, но цена ошибки при этом высока. Компании, применяющие A/B-тестирование, ошибаются реже и благодаря этому опережают своих конкурентов.

Именно математическая статистика предоставляет нам обоснованные критерии для проверки гипотез и даёт уверенность в правильности полученных результатов.

Вам может казаться, что A/B-тестирование — это просто. Но это ровно до того момента, пока вы не наткнётесь на первые подводные камни, которые приведут вас к неоптимальному решению, а значит, и потерям в бизнесе.

На симуляторе вы отработаете на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе.
Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.
АНАЛИТИК
Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.
ПРОДАКТ-МЕНЕДЖЕР

ДЛЯ КОГО ЭТОТ КУРС:

ДВЕ ВЕРСИИ СИМУЛЯТОРА:
Выберите подходящую версию симулятора А/В-тестов в зависимости от ваших целей и уровня подготовки.
Базовая
Продвинутая
Подойдёт всем, кто хочет разобраться в A/B-тестировании без погружения в программирование и математическую статистику.
Необходимые знания
инструменты
старт обучения
Математика на уровне школьной программы
Осень 2022
БАЗОВАЯ
Подойдёт всем, кто хочет разобраться в A/B-тестировании без погружения в программирование и математическую статистику.
Необходимые знания
инструменты
старт обучения
Математика на уровне школьной программы
Осень 2022
БАЗОВАЯ
Подойдёт всем, кто знаком с основами Python и математической статистикой и хочет разобраться с технической реализацией A/B-тестов.
Необходимые знания
инструменты
старт обучения
Зима 2022-2023
ПРОДВИНУТАЯ
Подойдёт всем, кто знаком с основами Python и математической статистикой и хочет разобраться с технической реализацией A/B-тестов.
Необходимые знания
инструменты
старт обучения
Зима 2022-2023
ПРОДВИНУТАЯ
> Знание синтаксиса Python
> Понимание базовых структур данных (список, словарь, кортеж)
> Владение библиотеками pandas, numpy, scipy, matplotlib
> Знание основ теории вероятностей и математической статистики
Python
> Знание синтаксиса языка
> Понимание базовых структур данных (список, словарь, кортеж)
> Владение библиотеками pandas, numpy, scipy, matplotlib
Теория
> Знание основ теории вероятностей и математической статистики
Oставьте заявку на интересующую вас версию, и мы сообщим, когда она будет готова. Обещаем, никакого спама.

Симулятор находится в разработке

КАК ПРОХОДИТ ОБУЧЕНИЕ >>>
О курсе
Инфраструктура
Поддержка студентов
Поиск работы
РЕШАЙТЕ НАСТОЯЩИЕ ЗАДАЧИ БИЗНЕСА
— Пройдите путь начинающего аналитика
— Запускайте A/B-тесты, анализируйте их результаты и помогайте бизнесу принимать оптимальные решения на основе данных
— Получайте обратную связь от практикующих специалистов
РАБОТАЙТЕ С РЕАЛЬНОЙ ИНФРАСТРУКТУРОЙ
— Практикуйтесь в боевых условиях, учитесь не допускать типичные ошибки при проведении экспериментов
— Работайте на настоящей платформе A/B-тестирования, созданной для симулятора
— Разрабатывайте дизайн экспериментов и анализируйте результаты
ЗАДАВАЙТЕ ЛЮБЫЕ ВОПРОСЫ В ПОДДЕРЖКУ
— Обсуждайте задачи и проекты с преподавателями и командой поддержки
— Вашими наставниками будут практикующие специалисты
Консультируйтесь с HR специалистами
Учитесь правильно презентовать свои навыки
Откликайтесь на вакансии компаний-партнёров
Проходите собеседования и устраивайтесь на работу
УСТРАИВАЙТЕСЬ НА РАБОТУ ПОСЛЕ КУРСА
РЕШАЙТЕ НАСТОЯЩИЕ ЗАДАЧИ БИЗНЕСА
— Пройдите путь начинающего аналитика компании
— Запускайте A/B-тесты, анализируйте их результаты и помогайте бизнесу принимать оптимальные решения на основе данных
— Получайте обратную связь от практикующих специалистов
79
РАБОТАЙТЕ С РЕАЛЬНОЙ ИНФРАСТРУКТУРОЙ
— Практикуйтесь в боевых условиях, учитесь не допускать типичные ошибки при проведении экспериментов
— Работайте на настоящей платформе A/B-тестирования, созданной для симулятора
— Разрабатывайте дизайн экспериментов и анализируйте результаты
ЗАДАВАЙТЕ ЛЮБЫЕ ВОПРОСЫ В ПОДДЕРЖКУ
— Обсуждайте задачи и проекты с преподавателями и командой поддержки
— Вашими наставниками будут опытные специалисты
90
ЧЕМУ ВЫ НАУЧИТЕСЬ:
Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
Применять современные методы повышения чувствительности A/B-тестов
Проводить множество экспериментов параллельно
ПРОГРАММА КУРСА ://
Представьте, что вы устроились аналитиком в пиццерию, которая активно переходит в онлайн и проводит эксперименты для повышения качества сервиса. Вам предстоит определить, какая версия сайта работает лучше, что изменилось после рефакторинга бэкенда и удалось ли отделу логистики ускорить доставку.
  1. ОСНОВЫ СТАТИСТИКИ
Изучим основы статистики, которых будет достаточно для прохождения курса.
2. ЗНАКОМСТВО С ПЛАТФОРМОЙ A/B-ТЕСТИРОВАНИЯ
В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования. Выдвинем гипотезы, оценим результаты первого эксперимента.
3. Проверка гипотез
Узнаем, как появилась идея проверять гипотезы. Создадим собственный критерий принятия решений. Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях.
4. ДИЗАЙН ЭКСПЕРИМЕНТА
Научимся подбирать оптимальные параметры для запуска эксперимента: продолжительность, размер выборки и минимальный эффект, который возможно обнаружить. Узнаем, зачем нужно проводить синтетические A/A- и A/B-эксперименты на исторических данных.
5. ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
Познакомимся с методом бутстрэп. Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов.
6. ПОВЫШЕНИЕ ЧУВСТВИТЕЛЬНОСТИ ТЕСТОВ
Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике. Научимся сокращать размер выборки, необходимый для проведения эксперимента.
7. ВЫБОР МЕТРИК
Выбрать метрику для эксперимента не всегда просто. Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста.
8. CUPED И СТРАТИФИКАЦИЯ
Научимся применять CUPED и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.
9. МНОЖЕСТВЕННОЕ ТЕСТИРОВАНИЕ
Когда гипотез слишком много, нам может не хватить наблюдений, чтобы проверить их все одновременно. Познакомимся с техниками множественного тестирования и одновременным проведением большого числа экспериментов.
10. АНАЛИЗ МЕТРИК ОТНОШЕНИЯ
При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми. Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.
1. ОСНОВЫ СТАТИСТИКИ
Изучим основы статистики, которых будет достаточно для прохождения курса.
2. ЗНАКОМСТВО С ПЛАТФОРМОЙ A/B-ТЕСТИРОВАНИЯ
В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования. Выдвинем гипотезы, оценим результаты первого эксперимента.
3. ПРОВЕРКА ГИПОТЕЗ
Узнаем, как появилась идея проверять гипотезы. Создадим собственный критерий принятия решений. Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях.
4. ДИЗАЙН ЭКСПЕРИМЕНТА
Научимся подбирать оптимальные параметры для запуска эксперимента: продолжительность, размер выборки и минимальный эффект, который возможно обнаружить. Узнаем, зачем нужно проводить синтетические A/A- и A/B-эксперименты на исторических данных.
5. ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
Познакомимся с методом бутстрэп. Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов.
6. ПОВЫШЕНИЕ ЧУВСТВИТЕЛЬНОСТИ ТЕСТОВ
Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике. Научимся сокращать размер выборки, необходимый для проведения эксперимента.
7. ВЫБОР МЕТРИК
Выбрать метрику для эксперимента не всегда просто. Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста.
8. CUPED И СТРАТИФИКАЦИЯ
Научимся применять CUPED и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.
9. МНОЖЕСТВЕННОЕ ТЕСТИРОВАНИЕ
Когда гипотез слишком много, нам может не хватить наблюдений, чтобы проверить их все одновременно. Познакомимся с техниками множественного тестирования и одновременным проведением большого числа экспериментов.
10. АНАЛИЗ МЕТРИК ОТНОШЕНИЯ
При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми. Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.
КАКИЕ ЗАДАЧИ БУДЕМ РЕШАТЬ >>>
Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
АНАЛИЗ МЕТРИКИ ОТНОШЕНИЯ
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
ЧУВСТВИТЕЛЬНЫЕ ТЕСТЫ
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
МНОЖЕСТВЕННОЕ ТЕСТИРОВАНИЕ
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
АНАЛИЗ МЕТРИКИ ОТНОШЕНИЯ
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
ЧУВСТВИТЕЛЬНЫЕ ТЕСТЫ
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
МНОЖЕСТВЕННОЕ ТЕСТИРОВАНИЕ
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
ПРОГРАММА ТРУДОУСТРОЙСТВА>>>
ТРУДОУСТРОЙСТВО
Вместе достигнем желаемой цели
ПОДГОТОВКА
Поможем составить сильное резюме

РЕКОМЕНДАЦИИ
Расскажем о вас компаниям-партнёрам
СОБЕСЕДОВАНИЕ
Поможем подготовиться к интервью
90%
Трудоустроенных выпускников
Рассчитано на основе данных о количестве выпускников, обратившихся за помощью в поиске работы и трудоустроенных за 3 месяца. Как мы это считали
Будем поддерживать вас в течение всего процесса трудоустройства.
Наша цель — довести вас до оффера.
Рассчитано на основе данных о количестве выпускников, обратившихся за помощью в поиске работы и трудоустроенных за 3 месяца. Как мы это считали
ПОДРОБНЕЕ
САМОПРЕЗЕНТАЦИЯ
Чтобы получить сильное резюме и навыки самопрезентации вы пройдете:
- Лекции и вебинары по составлению резюме от HR-эксперта Яндекс
- Тест-драйв собеседования
- Консультацию, на которой определите стратегию поиска работы и пропишете карьерные цели
79
ОТСЛЕЖИВАНИЕ ПРОГРЕССА
Свой прогресс в трудоустройстве вы будете отслеживать с помощью специальных дневников. Работать над ошибками мы будем вместе с вами: мы подскажем, что нужно подтянуть и в каком направлении лучше мыслить, чтобы эффективнее справляться с задачами на собеседованиях.
90
РАБОТА МЕЧТЫ
Наша цель — довести вас до оффера. Среднее время трудоустройства с сопровождением составляет 1-1,5 месяца.
108
САМОПРЕЗЕНТАЦИЯ
Чтобы получить сильное резюме и навыки самопрезентации, вы пройдете:
- Лекции и вебинары по составлению резюме от HR-эксперта Яндекс
- Тест-драйв собеседования
- Консультацию, на которой определите стратегию поиска работы и пропишете карьерные цели
ВЫБОР ВАКАНСИЙ
После подготовки всех необходимых материалов вы получите доступ к Telegram-каналам, где ежедневно обновляются вакансии от наших партнёров. На заинтересовавшие вас вакансии HR отправят ваше резюме с рекомендациями и организуют собеседование.
ОТСЛЕЖИВАНИЕ ПРОГРЕССА
Свой прогресс в трудоустройстве вы будете отслеживать с помощью специальных дневников. Работать над ошибками мы будем вместе с вами: мы подскажем, что нужно подтянуть и в каком направлении лучше мыслить, чтобы эффективнее справляться с задачами на собеседованиях.
РАБОТА МЕЧТЫ
Наша цель — довести вас до оффера. Среднее время трудоустройства с сопровождением составляет 1-1,5 месяца.
ВЫПУСКНИКИ НАШЕЙ ШКОЛЫ РАБОТАЮТ >>>
УЧИТЕСЬ У >ЛУЧШИХ>
АЛЕКСАНДР САХНОВ
За более чем два года работы в компании повысил чувствительность A/B-тестов в 100 раз. Преподаёт в Школе анализа данных Яндекса.
Руководитель отдела мультивариативного анализа в X5 Retail Group
ВАЛЕРИЙ БАБУШКИН
Работал в WhatsApp, руководил отделом Data Science and Engineering в X5 Retail Group, был директором по аналитике и машинному обучению в компаниях Яндекс и Alibaba. Ведёт курс Data Science в Высшей Школе Экономики. Консультирует центральный банк Казахстана по вопросам анализа данных. Имеет звание Grandmaster на платформе Kaggle.
Head of Data Science в Blockchain.com
НИКОЛАЙ НАЗАРОВ
Работал ML-специалистом в Severstal Digital и S7 Airlines. Победитель соревнования Yandex Cup по направлению «Аналитика».
Senior Data Scientist в X5 Retail Group
СТОИМОСТЬ
> Основы статистики
> Знакомство с платформой A/B-тестирования
> Проверка гипотез
> Дизайн эксперимента
> Доверительные интервалы
> Повышение чувствительности тестов
> Выбор метрик
> CUPED и стратификация
> Множественное тестирование
> Анализ метрик отношения
> Поддержка от команды саппорта
35 000 ₽
Начните учиться сейчас, оформите налоговый вычет и верните до 13% стоимости обучения. Подробнее здесь.
налоговый вычет
гарантия возврата
Если в течение первых трёх уроков вы решите, что курс вам не подходит — вернём деньги.
FAQ >>>
Есть ли у вас образовательная лицензия?
Да, мы осуществляем образовательную деятельность на основании государственной лицензии № 042048 от 11 апреля 2022 года, выданной Департаментом образования и науки города Москвы.
Смогу ли я оформить налоговый вычет за обучение?
Да. Если вы оплатили обучение на курсе после 23 мая 2022 года, являетесь налоговым резидентом России и уплачиваете подоходный налог, вы можете оформить вычет. Однако подать документы можно только в году, следующем за годом оплаты обучения.

Налоговый вычет за обучение — это часть расходов на образование, которую государство может вам компенсировать. С подробной информацией об условиях получения налогового вычета, порядком его расчёта и списком необходимых документов можно ознакомиться на сайте ФНС.
Какой уровень требуется для прохождения симулятора?
Для комфортного обучения на симуляторе базовой версии достаточно знать математику на уровне школьной программы. Во всех темах вы сможете разобраться без специальных знаний. Для прохождения продвинутой версии советуем владеть следующими пререквизитами.
Придётся ли мне писать код?
Базовая версия симулятора не предполагает написание кода. В продвинутой версии для решения заданий будет использоваться язык программирования Python.
С какими инструментами я буду работать?
Вы получите доступ к платформе A/B-тестирования, где есть весь необходимый функционал для организации и проведения экспериментов. Также при выполнении некоторых практических заданий вы будете работать либо в Google Sheets, либо в Jupyter Notebook. Это зависит от версии, которую вы решите приобрести, подробнее можно ознакомиться здесь.
Как проходит обучение?
Обучение проходит на нашей образовательной платформе в текстовом формате. Уроки открываются по мере прохождения симулятора, вы можете проходить их в своём темпе. Если у вас появятся вопросы, вам ответят на них менторы или преподаватели в Slack.
Смогу ли я совмещать обучение с работой?

Мы организовали обучение таким образом, чтобы вы могли совмещать его с работой, учёбой и личной жизнью. Заниматься вы сможете в любое время и в удобном для вас темпе.

Могу ли я получить помощь в перерывах между занятиями?
Да. Все студенты общаются с командой поддержки и между собой в Slack. В чате можно задать любые вопросы по обучению, наша команда обязательно ответит вам.
ПОКАЗАТЬ ЕЩЁ
Останется ли у меня доступ к учебным материалам после окончания курса?
Да, останется. Теоретические материалы и домашние задания будут доступны вам всегда, даже после окончания обучения. Доступ к платформе A/B-тестирования будет отключен через год после начала обучения.
Можно ли посмотреть отзывы тех, кто уже прошёл симулятор?
Это первый запуск симулятора, поэтому отзывов от выпускников пока нет. Но вы можете ознакомиться с отзывами о других наших программах.
Предусмотрены ли бонусы для студентов первого потока?
Да, студенты первого потока получат доступ ко всем обновлениям симулятора в течение года с момента его запуска.
Получу ли я сертификат?

Да, вы получите интерактивный сертификат, который будет отражать прогресс по пройденным на симуляторе темам.

Смогу ли я вернуть деньги, если курс мне не понравится?
Да, сможете. В течение первых трёх уроков можно вернуть оплату за весь курс. Если пройдёте больше, то сможете вернуть оплату за вычетом стоимости уже открытых уроков.
СТАРТ:
ОСЕНЬ 2022
КУРС В РАЗРАБОТКЕ

Остались вопросы?

Заполните форму, мы свяжемся с вами, ответим на все ваши вопросы и подробнее расскажем о курсе.