Skyeng: gamified daily reminder — стоит ли продлевать тест

Ситуация: After 14 days: lessons/user +3.5%, p=0.07 (borderline). Продлевать тест или нет?

Команда настаивает «продлим, statistic скажется». Senior: «p-hacking, нельзя без plan».

Доступные данные

• lessons_per_user: user_id, ts_week, lesson_count, daily_streak_days
• ab_assignments: user_id, variant, assigned_ts
• reminder_events: user_id, ts, type (gamified/standard), opened
• engagement: user_id, ts_day, sessions_count, time_in_app_min

Задачи

• Sequential analysis правила: O'Brien-Fleming или Pocock boundaries.
• Если pre-registered план «можно продлить» — fine, иначе p-hacking.
• Альтернатива: pre-registered analysis по неделям с adjusted alpha.
• Powered analysis: при наблюдаемом effect size, ещё 7 дней дадут p<0.05.
• Recommendation: ОТЛОЖИТЬ rollout, написать pre-registration, начать новый тест.

Все кейсы для подготовки →

Жанр кейса: A/B-тест: design + анализ — все кейсы этого типа.

Как разбирать A/B-тест: design + анализ кейсы

← Все кейсы