**Контекст:** Стриминговый сервис полгода назад внедрил новый алгоритм рекомендаций. Краткосрочный A/B-тест (4 недели) показал рост watch time +8.2%, DAU +1.1%, подписок +3.5%. Алгоритм раскатан на 100%, но оставлена holdout-группа (2%, 100 000 человек).
**Данные:**
Результат через 6 месяцев (holdout vs production):
| Метрика | Holdout (старый) | Production (новый) | Δ |
|---------|------------------|-------------------|---|
| Watch time/user/day | 42.3 мин | 48.7 мин | +15.1% |
| Content diversity (уник. жанров/мес) | 6.8 | 4.2 | −38.2% |
| 6-month retention | 71.2% | 68.5% | −2.7 п.п. |
| Churn rate (monthly avg) | 4.8% | 5.3% | +0.5 п.п. |
| NPS | 42 | 37 | −5 pts |
| Подписки Premium | 12.1% | 11.4% | −0.7 п.п. |
**Задание:**
1. Проанализируйте противоречие: краткосрочный рост vs долгосрочная деградация
2. Какой механизм может объяснить такую динамику?
3. Рассчитайте финансовый импакт: что выгоднее — старый или новый алгоритм?
4. Предложите framework для дизайна holdout-экспериментов и surrogate metrics
A/B-тест holdout group long-term effects surrogate metrics LTV retention
Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, holdout group, long-term effects, surrogate metrics, LTV.
На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания