Дизайн A/B-теста для новой фичи онбординга

Условие задания

## Контекст

Ты аналитик в B2B SaaS (инструмент аналитики для бизнеса). Продукт-команда сделала новый **интерактивный онбординг** (пошаговый тур + первая настройка дашборда за юзера). Гипотеза: он повысит активацию новых юзеров.

PM просит: «Спроектируй A/B-тест — как проверим, что онбординг работает, и стоит ли его раскатывать».

**Задача:** спроектируй эксперимент полностью: гипотеза, метрики (primary/secondary/guardrail), единица рандомизации, оценка длительности/выборки, критерии решения. Назови подводные камни.

Темы

A/B-тест дизайн эксперимента метрики unit рандомизации power

Подсказки

• Начни с чёткой гипотезы и ОДНОЙ primary-метрики (активация). Множество primary = множественное сравнение и размытое решение.
• Подумай про единицу рандомизации: в B2B юзеры внутри одной компании взаимодействуют → возможно, рандомизировать надо по аккаунтам/компаниям, а не по юзерам.
• Прикинь sample size и длительность через baseline-конверсию и MDE. Учти guardrail-метрики (не сломали ли что-то) и риск novelty-эффекта.

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Дизайн A/B-теста для новой фичи онбординга"?

Это задание для уровня Middle. Для middle-аналитиков с опытом 1-3 года, требует уверенного владения темой и понимания edge cases.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «Продуктовые задачи» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, дизайн эксперимента, метрики, unit рандомизации, power.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 15-30 минут — оцениваются подход, корректность, обработка edge cases. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «Продуктовые задачи»?

На zasqlpython.ru есть другие задания в категории «Продуктовые задачи», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания