VK: кнопка Donation в сообществах — как мерить успех

Средний Социальные сети Monetization 45 мин A/B-test design

Ситуация: Кнопка «Поддержать» в каждом посте сообщества. Какая metric сделает тест successful.

Кратко-долгий тест — donation revenue или engagement?

Доступные данные

posts: post_id, community_id, ts
reactions: user_id, post_id, type
donations: user_id, ts, amount, recipient_community
comments: comment_id, post_id, sentiment

Задачи

Primary candidates: donation revenue, activated donors %, NPS communities.
Recommended primary: % posts с donation > 0 (per community).
Длительность: 60 дней — donations требуют trust + repetition.
Guardrail: post engagement (likes, comments) — не упал ли.
Сегмент: type сообщества (mass news vs niche creator).

Все кейсы для подготовки →

Жанр кейса: A/B-тест: design + анализ — все кейсы этого типа.

Как разбирать A/B-тест: design + анализ кейсы

Что спрашивают на A/B-кейсах?

Дизайн теста (primary metric, guardrails, sample size, длительность), анализ результатов (significance, segments, novelty effect) и interpretation для бизнеса.

Какие типичные ошибки в A/B?

Peeking (стоп при «явной победе»), без guardrails, без power analysis, игнорирование novelty effect, SRM не проверяется, p-hacking при extend.

Что такое CUPED?

Variance reduction: используем pre-experiment данные юзера для корректировки в-experiment метрики. Сокращает sample size в 1.5-2 раза при тех же MDE.

← Все кейсы

VK: кнопка Donation в сообществах — как мерить успех

Доступные данные

Задачи

Как разбирать A/B-тест: design + анализ кейсы

Похожие задачи на собеседованиях

Похожие кейсы (Социальные сети)