Время в приложении растёт, ретеншн падает: ловушка Гудхарта в медиа

Условие задания

**Контекст:** Вы продуктовый аналитик в стриминговом медиа-сервисе (короткие вертикальные видео, как лента рекомендаций). Полгода назад команда рекомендаций выбрала North Star метрику **«среднее время в приложении на пользователя в день» (Time Spent)** и привязала к ней OKR и часть премий. За полгода Time Spent вырос с 38 до 52 минут (+37%). Но параллельно: W4-retention (доля вернувшихся на 4-й неделе) упал с 41% до 34%, доля пользователей, оставивших негативный отзыв в сторе про «залипание и мусорный контент», выросла вдвое, а доля видео с кликбейт-обложками в топе выдачи заметно увеличилась.

**Задание:**

1. Объясните, что произошло с точки зрения закона Гудхарта, и почему рост Time Spent тут — это плохой сигнал.
2. Предложите набор **counter-метрик (guardrails)**, которые не дадут команде «накручивать» Time Spent в ущерб продукту.
3. Предложите, чем заменить или как переопределить North Star, чтобы он отражал реальную ценность, а не просто залипание.
4. Опишите, как операционно встроить guardrails в процесс принятия решений (релизы модели, OKR).

Темы

counter-metric goodhart-law engagement recommender north-star

Подсказки

• Закон Гудхарта: когда метрика становится целью, она перестаёт быть хорошей метрикой — оптимизатор найдёт способ накрутить её в обход смысла
• Time Spent можно растить кликбейтом, автоплеем и dark patterns — это краткосрочный рост за счёт долгосрочного доверия
• Counter-метрика должна двигаться в противоположную сторону при «читинге» основной — ищите пару, которую нельзя оптимизировать одновременно нечестно
• Подумайте про метрики качества сессии и долгосрочного удержания, а не объёма потребления

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Время в приложении растёт, ретеншн падает: ловушка Гудхарта в медиа"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «Product Sense» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: counter-metric, goodhart-law, engagement, recommender, north-star.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «Product Sense»?

На zasqlpython.ru есть другие задания в категории «Product Sense», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания