A/B-тест кейсы для аналитика — дизайн и анализ экспериментов

Кейсы A/B: power analysis, MDE, guardrails, novelty effect, SRM, CUPED, sequential testing. Реальные собесы Yandex, T-Bank, VK.

Список (17)

Yandex Маркет: персонализированная главная — guardrail-метрики? Сложный · Yandex
Tinkoff: переделанный onboarding — как считать MDE Средний · Tinkoff
Wildberries: короткий vs длинный чекаут — primary metric Средний · Wildberries
Lamoda: рекомендации в карточке — novelty effect Средний · Lamoda
VK: кнопка Donation в сообществах — как мерить успех Средний · VK
Ozon: реферальная программа — корректные guardrails Сложный · Ozon 🔒
Я.Лавка: дизайн карточки товара — A/B показал ничью Средний · Yandex 🔒
Купер: shopping list feature — A/A провалился Сложный · Купер 🔒
Yandex Музыка: новый player UI — sample ratio mismatch Сложный · Yandex 🔒
Кинопоиск: тёмная тема — pre-experiment power analysis Средний · Yandex 🔒
Аэрофлот: динамическое ценообразование — разделить эффект тарифа vs UX Сложный · Аэрофлот 🔒
Tinkoff: уведомления о трате — uplift через 2 недели пропал Средний · Tinkoff 🔒
Циан: TG-бот для риелтора — тест с маленькой выборкой Сложный · Циан 🔒
M.Видео: «купи в кредит» более заметный — каннибализация наличных Средний · M.Видео 🔒
Я.Драйв: подписка на премиум-машины — A/B test design Средний · Yandex 🔒
Skyeng: gamified daily reminder — стоит ли продлевать тест Средний · Skyeng 🔒
Ozon Card: A/B нового cashback-уровня — primary metric? Средний · Ozon 🔒

Часто задаваемые вопросы

Что спрашивают на A/B-кейсах?

Дизайн теста (primary metric, guardrails, sample size, длительность), анализ результатов (significance, segments, novelty effect) и interpretation для бизнеса.

Какие типичные ошибки в A/B?

Peeking (стоп при «явной победе»), без guardrails, без power analysis, игнорирование novelty effect, SRM не проверяется, p-hacking при extend.

Что такое CUPED?

Variance reduction: используем pre-experiment данные юзера для корректировки в-experiment метрики. Сокращает sample size в 1.5-2 раза при тех же MDE.

← Все кейсы