Custom-метрика для A/B-теста ленты — VK

Условие задания

**Компания:** VK
**Позиция:** Senior Data Scientist (Lent algorithm)

**Контекст:** A/B-тест нового алгоритма ранжирования ленты. Стандартные метрики (DAU, time spent) не показывают разницы. Команда предлагает новую метрику: **«доля сессий с ≥3 лайками»** — proxy для engagement quality.

**Задание:**
1. Это **ratio метрика** (не сумма по юзерам). Почему классический t-test не подходит?
2. Объясни **delta method** для вариансов ratio-метрик.
3. Реализуй на pandas/numpy: даны два массива `(sessions_with_3plus_likes_per_user, total_sessions_per_user)` для control и treatment. Посчитай delta-method 95% CI для разницы.
4. Какую альтернативу можно использовать?

Темы

custom metrics A/B ratio metric delta method

Подсказки

• Ratio = sum_X / sum_Y (числитель и знаменатель в разных rows)
• Просто t-test на per-user ratio даст искажённую variance
• Delta method: Var(X/Y) ≈ (μ_X/μ_Y)² · (Var(X)/μ_X² + Var(Y)/μ_Y² − 2·Cov(X,Y)/(μ_X·μ_Y))
• Альтернатива: bootstrap, или линеаризация (Bareinboim 2014)

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Custom-метрика для A/B-теста ленты — VK"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «Python» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: custom metrics, A/B, ratio metric, delta method.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «Python»?

На zasqlpython.ru есть 482 Python задачи с проверкой через Pyodide, конспекты Python и pandas, AI мок-собеседование с разбором ваших ответов.

← Все задания