НАЧАЛО ОБУЧЕНИЯ
СРАЗУ ПОСЛЕ ПОКУПКИ
СРАЗУ ПОСЛЕ ПОКУПКИ
ФОРМАТ ОБУЧЕНИЯ
ОНЛАЙН
ОНЛАЙН
КОМУ ПОДОЙДЁТ
МОЖНО С НУЛЯ
МОЖНО С НУЛЯ
ДЛИТЕЛЬНОСТЬ
В своём темпе
В своём темпе
АЛЕКСАНДР САХНОВ
Расскажем всё о проведении экспериментов в больших компаниях
СИМУЛЯТОР
A/B-ТЕСТОВ
|
ПРИНИМАЙТЕ ОПТИМАЛЬНЫЕ РЕШЕНИЯ НА ОСНОВЕ ДАННЫХ
В бизнесе ежедневно принимаются сотни решений. Часто сложно понять, какое решение будет оптимальным, но цена ошибки при этом высока. Компании, применяющие A/B-тестирование, ошибаются реже и благодаря этому опережают своих конкурентов.
Именно математическая статистика предоставляет нам обоснованные критерии для проверки гипотез и даёт уверенность в правильности полученных результатов.
Вам может казаться, что A/B-тестирование — это просто. Но это ровно до того момента, пока вы не наткнётесь на первые подводные камни, которые приведут вас к неоптимальному решению, а значит, и потерям в бизнесе.
На симуляторе вы отработаете на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе.
Именно математическая статистика предоставляет нам обоснованные критерии для проверки гипотез и даёт уверенность в правильности полученных результатов.
Вам может казаться, что A/B-тестирование — это просто. Но это ровно до того момента, пока вы не наткнётесь на первые подводные камни, которые приведут вас к неоптимальному решению, а значит, и потерям в бизнесе.
На симуляторе вы отработаете на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе.
АЛЕКСАНДР САХНОВ
X5 Retail Group, хедлайнер симулятора
ДЛЯ КОГО ЭТОТ КУРС:
ПРОДАКТ-МЕНЕДЖЕР
Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.
АНАЛИТИК
Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.
ДВЕ ВЕРСИИ СИМУЛЯТОРА:
Выберите подходящую версию симулятора А/В-тестов в зависимости от ваших целей и уровня подготовки.
Подойдёт всем, кто хочет разобраться в A/B-тестировании без погружения в программирование и математическую статистику.
Необходимые знания
инструменты
Программа
Математика на уровне школьной программы
14 уроков
БАЗОВАЯ
Подойдёт всем, кто знаком с основами Python и математической статистикой и хочет разобраться с технической реализацией A/B-тестов.
Необходимые знания
инструменты
ПРОГРАММА
14 уроков
Дополнительная практика на Python
Дополнительная практика на Python
ПРОДВИНУТАЯ
Подойдёт всем, кто знаком с основами Python и математической статистикой и хочет разобраться с технической реализацией A/B-тестов.
Необходимые знания
инструменты
ПРОГРАММА
14 уроков
Дополнительная практика на Python
Дополнительная практика на Python
> Владение основами ООП (класс, объект)
> Понимание базовых структур данных (список, словарь, кортеж)
> Владение библиотеками pandas, numpy, scipy, matplotlib
> Знание основ теории вероятностей и математической статистики
> Понимание базовых структур данных (список, словарь, кортеж)
> Владение библиотеками pandas, numpy, scipy, matplotlib
> Знание основ теории вероятностей и математической статистики
ПРОДВИНУТАЯ
> Владение основами ООП (класс, объект)
> Понимание базовых структур данных (список, словарь, кортеж)
> Владение библиотеками pandas, numpy, scipy, matplotlib
> Понимание базовых структур данных (список, словарь, кортеж)
> Владение библиотеками pandas, numpy, scipy, matplotlib
> Знание основ теории вероятностей и математической статистики
ПОДРОБНЕЕ О СИМУЛЯТОРЕ
Валерий Бабушкин расскажет, в чём заключается ценность симулятора A/B-тестов, чем отличаются 2 версии и какие темы вам предстоит освоить.
КАК ПРОХОДИТ ОБУЧЕНИЕ >>>
РЕШАЙТЕ НАСТОЯЩИЕ ЗАДАЧИ БИЗНЕСА
— Пройдите путь начинающего аналитика
— Запускайте A/B-тесты, анализируйте их результаты и помогайте бизнесу принимать оптимальные решения на основе данных
— Получайте обратную связь от практикующих специалистов
— Запускайте A/B-тесты, анализируйте их результаты и помогайте бизнесу принимать оптимальные решения на основе данных
— Получайте обратную связь от практикующих специалистов
РАБОТАЙТЕ С РЕАЛЬНОЙ ИНФРАСТРУКТУРОЙ
— Практикуйтесь в боевых условиях, учитесь не допускать типичные ошибки при проведении экспериментов
— Работайте на настоящей платформе A/B-тестирования, созданной для симулятора
— Разрабатывайте дизайн экспериментов и анализируйте результаты
— Работайте на настоящей платформе A/B-тестирования, созданной для симулятора
— Разрабатывайте дизайн экспериментов и анализируйте результаты
ЗАДАВАЙТЕ ЛЮБЫЕ ВОПРОСЫ В ПОДДЕРЖКУ
— Обсуждайте задачи и проекты с преподавателями и командой поддержки
— Вашими наставниками будут практикующие специалисты
— Вашими наставниками будут практикующие специалисты
РЕШАЙТЕ НАСТОЯЩИЕ ЗАДАЧИ БИЗНЕСА
— Пройдите путь начинающего аналитика компании
— Запускайте A/B-тесты, анализируйте их результаты и помогайте бизнесу принимать оптимальные решения на основе данных
— Получайте обратную связь от практикующих специалистов
— Запускайте A/B-тесты, анализируйте их результаты и помогайте бизнесу принимать оптимальные решения на основе данных
— Получайте обратную связь от практикующих специалистов
79
₽
РАБОТАЙТЕ С РЕАЛЬНОЙ ИНФРАСТРУКТУРОЙ
— Практикуйтесь в боевых условиях, учитесь не допускать типичные ошибки при проведении экспериментов
— Работайте на настоящей платформе A/B-тестирования, созданной для симулятора
— Разрабатывайте дизайн экспериментов и анализируйте результаты
— Работайте на настоящей платформе A/B-тестирования, созданной для симулятора
— Разрабатывайте дизайн экспериментов и анализируйте результаты
ЧЕМУ ВЫ НАУЧИТЕСЬ:
Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
Применять современные методы повышения чувствительности A/B-тестов
Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
Проводить множество экспериментов параллельно
ПРОГРАММА КУРСА ://
Представьте, что вы устроились аналитиком в пиццерию, которая активно переходит в онлайн и проводит эксперименты для повышения качества сервиса. Вам предстоит определить, какая версия сайта работает лучше, что изменилось после рефакторинга бэкенда и удалось ли отделу логистики ускорить доставку.
В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования, а также изучим основы статистики, которых будет достаточно для прохождения курса.
Узнаем, как появилась идея проверять гипотезы. Создадим собственный критерий принятия решений. Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях.
Научимся подбирать оптимальные параметры для запуска эксперимента. Определять продолжительность, размер выборки и минимальный эффект, который возможно обнаружить.
Разберёмся как проверять корректность дизайна. Узнаем, зачем нужно проводить синтетические A/A и A/B эксперименты на исторических данных.
Познакомимся с методом бутстрэп. Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов.
Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике. Научимся сокращать размер выборки, необходимый для проведения эксперимента.
Выбрать метрику для эксперимента не всегда просто. Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста.
Научимся применять CUPED и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.
Иногда для решения одной проблемы выдвигается сразу несколько гипотез, одновременная проверка которых влияет на дизайн эксперимента. Познакомимся с техниками множественного тестирования и параллельным проведением большого числа экспериментов.
Гипотез становится всё больше, и нам не хватает наблюдений, чтобы проверять их все одновременно. Обсудим, когда можно использовать пользователей одновременно в нескольких экспериментах и как это делать.
При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми. Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.
Вспомним пройденные темы и структурируем полученные знания для применения их в реальных задачах. Обсудим проблему подглядывания в результаты до окончания эксперимента.
В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования, а также изучим основы статистики, которых будет достаточно для прохождения курса.
Узнаем, как появилась идея проверять гипотезы. Создадим собственный критерий принятия решений. Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях.
Научимся подбирать оптимальные параметры для запуска эксперимента. Определять продолжительность, размер выборки и минимальный эффект, который возможно обнаружить.
Разберёмся как проверять корректность дизайна. Узнаем, зачем нужно проводить синтетические A/A и A/B эксперименты на исторических данных.
Познакомимся с методом бутстрэп. Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов.
Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике. Научимся сокращать размер выборки, необходимый для проведения эксперимента.
Выбрать метрику для эксперимента не всегда просто. Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста.
Научимся применять CUPED и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.
Иногда для решения одной проблемы выдвигается сразу несколько гипотез, одновременная проверка которых влияет на дизайн эксперимента. Познакомимся с техниками множественного тестирования и параллельным проведением большого числа экспериментов.
Гипотез становится всё больше, и нам не хватает наблюдений, чтобы проверять их все одновременно. Обсудим, когда можно использовать пользователей одновременно в нескольких экспериментах и как это делать.
При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми. Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.
Вспомним пройденные темы и структурируем полученные знания для применения их в реальных задачах. Обсудим проблему подглядывания в результаты до окончания эксперимента.
КАКИЕ ЗАДАЧИ БУДЕМ РЕШАТЬ >>>
Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
АНАЛИЗ МЕТРИКИ ОТНОШЕНИЯ
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
ЧУВСТВИТЕЛЬНЫЕ ТЕСТЫ
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
МНОЖЕСТВЕННОЕ ТЕСТИРОВАНИЕ
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
АНАЛИЗ МЕТРИКИ ОТНОШЕНИЯ
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
ЧУВСТВИТЕЛЬНЫЕ ТЕСТЫ
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
МНОЖЕСТВЕННОЕ ТЕСТИРОВАНИЕ
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
ОТЗЫВЫ СТУДЕНТОВ /
- Базовая версия
Самое главное — это структура! На этом уже можно закончить :)
Десятки ранее просмотренных видео, сотни часов контента (без преувеличения) не давали такого ощущения, что всё по полочкам. Примерно до 12-го урока я прямо «преисполнялся в знании», что всё получается, всё могу. Писал бывшим коллегам в стиле «вон оно как!», советовал.
Читать полностью →Виктор Панькив - Продвинутая версия
В сети практически нет последовательных материалов как разобраться в этой теме. Читал статьи, смотрел видео, а картинка «как именно делать по шагам 1−2-3» так и не складывалась.
Симулятор как раз закрыл этот пробел. Буквально на пальцах объясняется «что делать», «как делать» и «почему делать». Без лишнего углубления в математику. После симулятора у меня сложился пазл в голове.
Читать полностью →Алексей Аверьянов - Базовая версия
Теперь могу написать в резюме, что разбираюсь в А/В-тестах на базовом уровне. Планирую перепройти курс ещё пару раз, когда будут конкретные задачи на работе, поэтому благодарна, что доступ к нему не закрывается.
Читать полностью →Айнур Кулиева
- Базовая версия
Самое главное — это структура! На этом уже можно закончить :)
Десятки ранее просмотренных видео, сотни часов контента (без преувеличения) не давали такого ощущения, что всё по полочкам. Примерно до 12-го урока я прямо «преисполнялся в знании», что всё получается, всё могу. Писал бывшим коллегам в стиле «вон оно как!», советовал.
Читать полностью →Виктор Панькив - Продвинутая версия
В сети практически нет последовательных материалов как разобраться в этой теме. Читал статьи, смотрел видео, а картинка «как именно делать по шагам 1−2-3» так и не складывалась. Симулятор как раз закрыл этот пробел. Буквально на пальцах объясняется «что делать», «как делать» и «почему делать». Без лишнего углубления в математику. После симулятора у меня сложился пазл в голове.
Читать полностью →Алексей Аверьянов
Экономист по образованию, работал 8 лет в одном и том же банке, как окончил универ.
Изначально работал кредитным инспектором, андеррайтером, оценивал всякие дорогие машины и дома в залогах, выезжал на бизнес клиента — лесопилки, молочные фермы… В общем такая неинтересная банковская специфика. Ещё писал роботов на RPA, чего только не делал :)
Потом постепенно перешёл в аналитику (от VBA/Excel до ML/PySpark), так как хотелось автоматизации и ухода от рутины + благодаря прошлому опыту неплохо понимал устройство банковской сферы и слабости/возможности наших продуктов. Считаю прикладной опыт в области более важным, чем хард скиллы (с оговорками, конечно).
Последние полтора года работал лидом небольшой команды аналитики в том же банке.
Проводил A/B-тесты на работе, но больше со стороны бизнес-заказчика, без возможности технической реализации. При этом по своей инициативе писал Python скрипты для проверки «соседей», пытался разобраться в специфике. Много всего смотрел, читал даже «Trustworthy Online Controlled Experiment», но почти не понимал, как это применить в жизни. Теперь после симулятора — думаю, что понимаю. Конечно, в реальности всё гораздо сложнее :)
Недавно пришлось покинуть организацию, появилось свободное время + зарубежные компании требуют этот навык. В wait листе на курс был давно, но продвинутую, к сожалению, так и не дождался. Теперь думаю и её приобрести, когда появится.
Самое главное — это структура! На этом уже можно закончить :)
Десятки ранее просмотренных видео, сотни часов контента (без преувеличения) не давали такого ощущения, что всё по полочкам. Примерно до 12-го урока я прямо «преисполнялся в знании», что всё получается, всё могу. Писал бывшим коллегам в стиле «вон оно как!», советовал. Два предпоследних урока немного тяжелее пошли, планирую вернуться к ним, закрепить. Старался каждое занятие переводить формулы из таблиц в Python скрипты, что вызывало эйфорию, когда все сходилось. И это даже лучше, чем если бы дали готовое решение.
Получается, что прошёл симулятор за 5 дней (я и отдыхал, если что). Но оговорюсь, что до этого очень много смотрел ваши видео и читал прочих хаброписцев. Был западающий момент, когда на конференции показывают, например, ту же CUPED, но тяжело продраться через формулы, перематываешь обратно туда-сюда, вроде бы понял, а как проверить? А у вас посмотрел формулы и понимаешь, что абсолютно ничего сложного в этом нет (кстати, хотелось бы понять разницу между курсом и жизнью).
Планирую дать посмотреть курс супруге (она что-то около продакта/проджекта). Она «с нуля», и очень интересно, что она скажет.
Спасибо преподавателям, не было желания Вас перематывать (sic!) :)
Александр показался очень компетентным и, я бы сказал, человечным, говоришь с ним на одном языке. Боялся математики, а там так все разжёвано, очень доволен! Все недостатки расписал ранее в отзывах к урокам.
ВИКТОР ПАНЬКИВ
Телеграм
Изначально работал кредитным инспектором, андеррайтером, оценивал всякие дорогие машины и дома в залогах, выезжал на бизнес клиента — лесопилки, молочные фермы… В общем такая неинтересная банковская специфика. Ещё писал роботов на RPA, чего только не делал :)
Потом постепенно перешёл в аналитику (от VBA/Excel до ML/PySpark), так как хотелось автоматизации и ухода от рутины + благодаря прошлому опыту неплохо понимал устройство банковской сферы и слабости/возможности наших продуктов. Считаю прикладной опыт в области более важным, чем хард скиллы (с оговорками, конечно).
Последние полтора года работал лидом небольшой команды аналитики в том же банке.
Проводил A/B-тесты на работе, но больше со стороны бизнес-заказчика, без возможности технической реализации. При этом по своей инициативе писал Python скрипты для проверки «соседей», пытался разобраться в специфике. Много всего смотрел, читал даже «Trustworthy Online Controlled Experiment», но почти не понимал, как это применить в жизни. Теперь после симулятора — думаю, что понимаю. Конечно, в реальности всё гораздо сложнее :)
Недавно пришлось покинуть организацию, появилось свободное время + зарубежные компании требуют этот навык. В wait листе на курс был давно, но продвинутую, к сожалению, так и не дождался. Теперь думаю и её приобрести, когда появится.
Самое главное — это структура! На этом уже можно закончить :)
Десятки ранее просмотренных видео, сотни часов контента (без преувеличения) не давали такого ощущения, что всё по полочкам. Примерно до 12-го урока я прямо «преисполнялся в знании», что всё получается, всё могу. Писал бывшим коллегам в стиле «вон оно как!», советовал. Два предпоследних урока немного тяжелее пошли, планирую вернуться к ним, закрепить. Старался каждое занятие переводить формулы из таблиц в Python скрипты, что вызывало эйфорию, когда все сходилось. И это даже лучше, чем если бы дали готовое решение.
Получается, что прошёл симулятор за 5 дней (я и отдыхал, если что). Но оговорюсь, что до этого очень много смотрел ваши видео и читал прочих хаброписцев. Был западающий момент, когда на конференции показывают, например, ту же CUPED, но тяжело продраться через формулы, перематываешь обратно туда-сюда, вроде бы понял, а как проверить? А у вас посмотрел формулы и понимаешь, что абсолютно ничего сложного в этом нет (кстати, хотелось бы понять разницу между курсом и жизнью).
Планирую дать посмотреть курс супруге (она что-то около продакта/проджекта). Она «с нуля», и очень интересно, что она скажет.
Спасибо преподавателям, не было желания Вас перематывать (sic!) :)
Александр показался очень компетентным и, я бы сказал, человечным, говоришь с ним на одном языке. Боялся математики, а там так все разжёвано, очень доволен! Все недостатки расписал ранее в отзывах к урокам.
ВИКТОР ПАНЬКИВ
Телеграм
Я закончила НИУ ВШЭ 2,5 раза: прервала свой университетский путь посреди аспирантуры :) Сейчас работаю там же на исследовательской позиции, мы занимаемся экспериментами.
Коллега нашла этот курс и посоветовала мне. Все мы когда-то слушали лекции Анатолия на Степике :) На тот момент я планировала подавать резюме на продуктовые вакансии, поэтому для меня программа оказалась актуальной.
Хороший разбор на пицце, удобная собственная платформа для тестов. Объяснения в тексте понятные, я много конспектировала. Я получала удовольствие даже от решения простых задач. Как ни странно, понравился финальный тест — было ощущение прохождения босса.
Теперь могу написать в резюме, что разбираюсь в А/В-тестах на базовом уровне. Планирую перепройти курс ещё пару раз, когда будут конкретные задачи на работе, поэтому благодарна, что доступ к нему не закрывается.
АЙНУР КУЛИЕВА
Телеграм
Коллега нашла этот курс и посоветовала мне. Все мы когда-то слушали лекции Анатолия на Степике :) На тот момент я планировала подавать резюме на продуктовые вакансии, поэтому для меня программа оказалась актуальной.
Хороший разбор на пицце, удобная собственная платформа для тестов. Объяснения в тексте понятные, я много конспектировала. Я получала удовольствие даже от решения простых задач. Как ни странно, понравился финальный тест — было ощущение прохождения босса.
Теперь могу написать в резюме, что разбираюсь в А/В-тестах на базовом уровне. Планирую перепройти курс ещё пару раз, когда будут конкретные задачи на работе, поэтому благодарна, что доступ к нему не закрывается.
АЙНУР КУЛИЕВА
Телеграм
В IT и в разработке я давно. Больше 10 лет опыта в 1С. В последние 2 года переключился в Data Science. Сейчас работаю в роли DS над созданием рекомендательных систем в ритейле.
A/B-тесты давно не давали мне покоя. Коллеги в индустрии говорят об их важности. В вакансиях отмечают пунктом «должен уметь». Но в сети практически нет последовательных материалов как разобраться в этой теме. Читал статьи, смотрел видео, а картинка «как именно делать по шагам 1-2-3» так и не складывалась.
Симулятор как раз закрыл этот пробел. Буквально на пальцах объясняется «что делать», «как делать» и «почему делать». Без лишнего углубления в математику. После симулятора у меня сложился пазл в голове. Прочитанные раньше статьи и просмотренные видео встали на свои места.
Но это оказалось интересно. Не отвлекаясь на код, я понял суть и порядок шагов. А дальше уже докинули и шаблоны кода на Python, и задания попрактиковаться. Так что к пазлу в голове у меня добавились и шаблоны кода для внедрения.
Сейчас работаю над тем, чтобы применять эти навыки у себя на работе и привнести культуру правильных A/B-тестов в наши проекты.
АЛЕКСЕЙ АВЕРЬЯНОВ
Телеграм
A/B-тесты давно не давали мне покоя. Коллеги в индустрии говорят об их важности. В вакансиях отмечают пунктом «должен уметь». Но в сети практически нет последовательных материалов как разобраться в этой теме. Читал статьи, смотрел видео, а картинка «как именно делать по шагам 1-2-3» так и не складывалась.
Симулятор как раз закрыл этот пробел. Буквально на пальцах объясняется «что делать», «как делать» и «почему делать». Без лишнего углубления в математику. После симулятора у меня сложился пазл в голове. Прочитанные раньше статьи и просмотренные видео встали на свои места.
- Как делать дизайн эксперимента, на что обращать внимание
- Как правильно делить пользователей на группы
- Как проводить А/А и А/B симуляции перед самим тестом, и почему этот шаг нельзя пропускать.
- Как контролировать ошибки I и II рода, и как убедиться, что мы их контролируем
- Как правильно оценить время и размер групп для эксперимента
- Как статистически обосновано принять решение, что группа B лучше, чем группа A, или не лучше.
- Как правильно тестировать конверсии, средний чек и в чем там подвох
- И еще много других «Как».
Но это оказалось интересно. Не отвлекаясь на код, я понял суть и порядок шагов. А дальше уже докинули и шаблоны кода на Python, и задания попрактиковаться. Так что к пазлу в голове у меня добавились и шаблоны кода для внедрения.
Сейчас работаю над тем, чтобы применять эти навыки у себя на работе и привнести культуру правильных A/B-тестов в наши проекты.
АЛЕКСЕЙ АВЕРЬЯНОВ
Телеграм
Экономист по образованию, работал 8 лет в одном и том же банке, как окончил универ.
Изначально работал кредитным инспектором, андеррайтером, оценивал всякие дорогие машины и дома в залогах, выезжал на бизнес клиента — лесопилки, молочные фермы… В общем такая неинтересная банковская специфика. Ещё писал роботов на RPA, чего только не делал :)
Потом постепенно перешёл в аналитику (от VBA/Excel до ML/PySpark), так как хотелось автоматизации и ухода от рутины + благодаря прошлому опыту неплохо понимал устройство банковской сферы и слабости/возможности наших продуктов. Считаю прикладной опыт в области более важным, чем хард скиллы (с оговорками, конечно).
Последние полтора года работал лидом небольшой команды аналитики в том же банке.
Проводил A/B-тесты на работе, но больше со стороны бизнес-заказчика, без возможности технической реализации. При этом по своей инициативе писал Python скрипты для проверки «соседей», пытался разобраться в специфике. Много всего смотрел, читал даже «Trustworthy Online Controlled Experiment», но почти не понимал, как это применить в жизни. Теперь после симулятора — думаю, что понимаю. Конечно, в реальности всё гораздо сложнее :)
Недавно пришлось покинуть организацию, появилось свободное время + зарубежные компании требуют этот навык. В wait листе на курс был давно, но продвинутую, к сожалению, так и не дождался. Теперь думаю и её приобрести, когда появится.
Самое главное — это структура! На этом уже можно закончить :)
Десятки ранее просмотренных видео, сотни часов контента (без преувеличения) не давали такого ощущения, что всё по полочкам. Примерно до 12-го урока я прямо «преисполнялся в знании», что всё получается, всё могу. Писал бывшим коллегам в стиле «вон оно как!», советовал. Два предпоследних урока немного тяжелее пошли, планирую вернуться к ним, закрепить. Старался каждое занятие переводить формулы из таблиц в Python скрипты, что вызывало эйфорию, когда все сходилось. И это даже лучше, чем если бы дали готовое решение.
Получается, что прошёл симулятор за 5 дней (я и отдыхал, если что). Но оговорюсь, что до этого очень много смотрел ваши видео и читал прочих хаброписцев. Был западающий момент, когда на конференции показывают, например, ту же CUPED, но тяжело продраться через формулы, перематываешь обратно туда-сюда, вроде бы понял, а как проверить? А у вас посмотрел формулы и понимаешь, что абсолютно ничего сложного в этом нет (кстати, хотелось бы понять разницу между курсом и жизнью).
Планирую дать посмотреть курс супруге (она что-то около продакта/проджекта). Она «с нуля», и очень интересно, что она скажет.
Спасибо преподавателям, не было желания Вас перематывать (sic!) :)
Александр показался очень компетентным и, я бы сказал, человечным, говоришь с ним на одном языке. Боялся математики, а там так все разжёвано, очень доволен! Все недостатки расписал ранее в отзывах к урокам.
ВИКТОР ПАНЬКИВ
Телеграм
Изначально работал кредитным инспектором, андеррайтером, оценивал всякие дорогие машины и дома в залогах, выезжал на бизнес клиента — лесопилки, молочные фермы… В общем такая неинтересная банковская специфика. Ещё писал роботов на RPA, чего только не делал :)
Потом постепенно перешёл в аналитику (от VBA/Excel до ML/PySpark), так как хотелось автоматизации и ухода от рутины + благодаря прошлому опыту неплохо понимал устройство банковской сферы и слабости/возможности наших продуктов. Считаю прикладной опыт в области более важным, чем хард скиллы (с оговорками, конечно).
Последние полтора года работал лидом небольшой команды аналитики в том же банке.
Проводил A/B-тесты на работе, но больше со стороны бизнес-заказчика, без возможности технической реализации. При этом по своей инициативе писал Python скрипты для проверки «соседей», пытался разобраться в специфике. Много всего смотрел, читал даже «Trustworthy Online Controlled Experiment», но почти не понимал, как это применить в жизни. Теперь после симулятора — думаю, что понимаю. Конечно, в реальности всё гораздо сложнее :)
Недавно пришлось покинуть организацию, появилось свободное время + зарубежные компании требуют этот навык. В wait листе на курс был давно, но продвинутую, к сожалению, так и не дождался. Теперь думаю и её приобрести, когда появится.
Самое главное — это структура! На этом уже можно закончить :)
Десятки ранее просмотренных видео, сотни часов контента (без преувеличения) не давали такого ощущения, что всё по полочкам. Примерно до 12-го урока я прямо «преисполнялся в знании», что всё получается, всё могу. Писал бывшим коллегам в стиле «вон оно как!», советовал. Два предпоследних урока немного тяжелее пошли, планирую вернуться к ним, закрепить. Старался каждое занятие переводить формулы из таблиц в Python скрипты, что вызывало эйфорию, когда все сходилось. И это даже лучше, чем если бы дали готовое решение.
Получается, что прошёл симулятор за 5 дней (я и отдыхал, если что). Но оговорюсь, что до этого очень много смотрел ваши видео и читал прочих хаброписцев. Был западающий момент, когда на конференции показывают, например, ту же CUPED, но тяжело продраться через формулы, перематываешь обратно туда-сюда, вроде бы понял, а как проверить? А у вас посмотрел формулы и понимаешь, что абсолютно ничего сложного в этом нет (кстати, хотелось бы понять разницу между курсом и жизнью).
Планирую дать посмотреть курс супруге (она что-то около продакта/проджекта). Она «с нуля», и очень интересно, что она скажет.
Спасибо преподавателям, не было желания Вас перематывать (sic!) :)
Александр показался очень компетентным и, я бы сказал, человечным, говоришь с ним на одном языке. Боялся математики, а там так все разжёвано, очень доволен! Все недостатки расписал ранее в отзывах к урокам.
ВИКТОР ПАНЬКИВ
Телеграм
Я закончила НИУ ВШЭ 2,5 раза: прервала свой университетский путь посреди аспирантуры :) Сейчас работаю там же на исследовательской позиции, мы занимаемся экспериментами.
Коллега нашла этот курс и посоветовала мне. Все мы когда-то слушали лекции Анатолия на Степике :) На тот момент я планировала подавать резюме на продуктовые вакансии, поэтому для меня программа оказалась актуальной.
Хороший разбор на пицце, удобная собственная платформа для тестов. Объяснения в тексте понятные, я много конспектировала. Я получала удовольствие даже от решения простых задач. Как ни странно, понравился финальный тест — было ощущение прохождения босса.
Теперь могу написать в резюме, что разбираюсь в А/В-тестах на базовом уровне. Планирую перепройти курс ещё пару раз, когда будут конкретные задачи на работе, поэтому благодарна, что доступ к нему не закрывается.
АЙНУР КУЛИЕВА
Телеграм
Коллега нашла этот курс и посоветовала мне. Все мы когда-то слушали лекции Анатолия на Степике :) На тот момент я планировала подавать резюме на продуктовые вакансии, поэтому для меня программа оказалась актуальной.
Хороший разбор на пицце, удобная собственная платформа для тестов. Объяснения в тексте понятные, я много конспектировала. Я получала удовольствие даже от решения простых задач. Как ни странно, понравился финальный тест — было ощущение прохождения босса.
Теперь могу написать в резюме, что разбираюсь в А/В-тестах на базовом уровне. Планирую перепройти курс ещё пару раз, когда будут конкретные задачи на работе, поэтому благодарна, что доступ к нему не закрывается.
АЙНУР КУЛИЕВА
Телеграм
В IT и в разработке я давно. Больше 10 лет опыта в 1С. В последние 2 года переключился в Data Science. Сейчас работаю в роли DS над созданием рекомендательных систем в ритейле.
A/B-тесты давно не давали мне покоя. Коллеги в индустрии говорят об их важности. В вакансиях отмечают пунктом «должен уметь». Но в сети практически нет последовательных материалов как разобраться в этой теме. Читал статьи, смотрел видео, а картинка «как именно делать по шагам 1−2-3» так и не складывалась.
Симулятор как раз закрыл этот пробел. Буквально на пальцах объясняется «что делать», «как делать» и «почему делать». Без лишнего углубления в математику. После симулятора у меня сложился пазл в голове. Прочитанные раньше статьи и просмотренные видео встали на свои места.
Но это оказалось интересно. Не отвлекаясь на код, я понял суть и порядок шагов. А дальше уже докинули и шаблоны кода на Python, и задания попрактиковаться. Так что к пазлу в голове у меня добавились и шаблоны кода для внедрения.
Сейчас работаю над тем, чтобы применять эти навыки у себя на работе и привнести культуру правильных A/B-тестов в наши проекты.
АЛЕКСЕЙ АВЕРЬЯНОВ
Телеграм
A/B-тесты давно не давали мне покоя. Коллеги в индустрии говорят об их важности. В вакансиях отмечают пунктом «должен уметь». Но в сети практически нет последовательных материалов как разобраться в этой теме. Читал статьи, смотрел видео, а картинка «как именно делать по шагам 1−2-3» так и не складывалась.
Симулятор как раз закрыл этот пробел. Буквально на пальцах объясняется «что делать», «как делать» и «почему делать». Без лишнего углубления в математику. После симулятора у меня сложился пазл в голове. Прочитанные раньше статьи и просмотренные видео встали на свои места.
- Как делать дизайн эксперимента, на что обращать внимание
- Как правильно делить пользователей на группы
- Как проводить А/А и А/B симуляции перед самим тестом, и почему этот шаг нельзя пропускать.
- Как контролировать ошибки I и II рода, и как убедиться, что мы их контролируем
- Как правильно оценить время и размер групп для эксперимента
- Как статистически обосновано принять решение, что группа B лучше, чем группа A, или не лучше.
- Как правильно тестировать конверсии, средний чек и в чем там подвох
- И еще много других «Как».
Но это оказалось интересно. Не отвлекаясь на код, я понял суть и порядок шагов. А дальше уже докинули и шаблоны кода на Python, и задания попрактиковаться. Так что к пазлу в голове у меня добавились и шаблоны кода для внедрения.
Сейчас работаю над тем, чтобы применять эти навыки у себя на работе и привнести культуру правильных A/B-тестов в наши проекты.
АЛЕКСЕЙ АВЕРЬЯНОВ
Телеграм
УЧИТЕСЬ У >ЛУЧШИХ>
АЛЕКСАНДР САХНОВ
За более чем два года работы в компании повысил чувствительность A/B-тестов в 100 раз. Преподаёт в Школе анализа данных Яндекса.
Руководитель отдела мультивариативного анализа в X5 Retail Group
ВАЛЕРИЙ БАБУШКИН
Работал в WhatsApp, руководил отделом Data Science and Engineering в X5 Retail Group, был директором по аналитике и машинному обучению в компаниях Яндекс и Alibaba. Ведёт курс Data Science в Высшей Школе Экономики. Консультирует центральный банк Казахстана по вопросам анализа данных. Имеет звание Grandmaster на платформе Kaggle.
Senior Principal в BP
НИКОЛАЙ НАЗАРОВ
Работал ML-специалистом в Severstal Digital и S7 Airlines. Победитель соревнования Yandex Cup по направлению «Аналитика».
Senior Data Scientist в X5 Retail Group
СТОИМОСТЬ ://
45 000 ₽
Базовая версия
Продвинутая версия
> 14 уроков
> Q&A сессия с преподавателями каждый месяц
> Доступ к поддержке и инструментам на 1 год
> Доступ к материалам навсегда
+ Дополнительные задания на Python к каждому уроку
> Q&A сессия с преподавателями каждый месяц
> Доступ к поддержке и инструментам на 1 год
> Доступ к материалам навсегда
+ Дополнительные задания на Python к каждому уроку
> 14 уроков
> Q&A сессия с преподавателями каждый месяц
> Доступ к поддержке и инструментам на 1 год
> Доступ к материалам навсегда
> Q&A сессия с преподавателями каждый месяц
> Доступ к поддержке и инструментам на 1 год
> Доступ к материалам навсегда
35 000 ₽
полная оплата:
22 500 ₽/
оплата Частями:
МЕС
полная оплата:
17 500 ₽/
оплата Частями:
МЕС
> 14 уроков
> Q&A сессия с преподавателями каждый месяц
> Доступ к поддержке и инструментам на 1 год
> Доступ к материалам навсегда
+ Дополнительные задания на Python к каждому уроку
> Q&A сессия с преподавателями каждый месяц
> Доступ к поддержке и инструментам на 1 год
> Доступ к материалам навсегда
+ Дополнительные задания на Python к каждому уроку
за счёт компании
Этот курс может оплатить ваш работодатель. Оставьте заявку, и мы поможем оформить сделку.
Международная оплата
Если вы хотите оплатить обучение из-за рубежа, оставьте заявку — мы с вами свяжемся и подскажем, как это сделать.
ещё варианты оплаты:
ОСТАВИТЬ ЗАЯВКУ
Мы свяжемся с вами для того, чтобы ответить на все вопросы по ней.
налоговый вычет
Начните учиться сейчас, оформите налоговый вычет и верните до 13% стоимости обучения. Подробнее здесь.
гарантия возврата
Если в течение двух недель решите, что курс вам не подходит — вернём деньги.
ОСТАВИТЬ ЗАЯВКУ
Задать вопрос
Мы свяжемся с вами и ответим на все ваши вопросы по курсу.
FAQ >>>
Да, мы осуществляем образовательную деятельность на основании государственной лицензии № 042048 от 11 апреля 2022 года, выданной Департаментом образования и науки города Москвы.
Да. Если вы оплатили обучение на курсе после 23 мая 2022 года, являетесь налоговым резидентом России и уплачиваете подоходный налог, вы можете оформить вычет. Однако подать документы можно только в году, следующем за годом оплаты обучения.
Налоговый вычет за обучение — это часть расходов на образование, которую государство может вам компенсировать. С подробной информацией об условиях получения налогового вычета, порядком его расчёта и списком необходимых документов можно ознакомиться на сайте ФНС.
Налоговый вычет за обучение — это часть расходов на образование, которую государство может вам компенсировать. С подробной информацией об условиях получения налогового вычета, порядком его расчёта и списком необходимых документов можно ознакомиться на сайте ФНС.
Для комфортного обучения на симуляторе базовой версии достаточно знать математику на уровне школьной программы. Во всех темах вы сможете разобраться без специальных знаний. Для прохождения продвинутой версии советуем владеть следующими пререквизитами.
Базовая версия симулятора не предполагает написание кода. В продвинутой версии для решения заданий будет использоваться язык программирования Python.
Вы получите доступ к платформе A/B-тестирования, где есть весь необходимый функционал для организации и проведения экспериментов. Также при выполнении некоторых практических заданий вы будете работать либо в Google Sheets, либо в Jupyter Notebook. Это зависит от версии, которую вы решите приобрести, подробнее можно ознакомиться здесь.
Обучение проходит на нашей образовательной платформе в текстовом формате. Уроки открываются по мере прохождения симулятора, вы можете проходить их в своём темпе. Если у вас появятся вопросы, вам ответят на них менторы или преподаватели в Discord.
Мы организовали обучение таким образом, чтобы вы могли совмещать его с работой, учёбой и личной жизнью. Заниматься вы сможете в любое время и в удобном для вас темпе.
Да. Все студенты общаются с командой поддержки и между собой в Discord. В чате можно задать любые вопросы по программе, наша команда обязательно ответит вам.
Да, останется. Теоретические материалы и домашние задания будут доступны вам всегда, даже после окончания обучения. Доступ к платформе A/B-тестирования и поддержке будет отключен через год после начала обучения.
Да, вы получите виртуальный сертификат, который будет отражать прогресс по пройденным на симуляторе темам.
Да, сможете. В течение двух недель после старта потока и при прохождении не более трёх уроков можно вернуть оплату за весь курс. В иных случаях вы сможете вернуть оплату за вычетом стоимости уже открытых уроков.