В A/B-тесте метрика — средний чек на клик (revenue per click, RPC). Проблема: единица рандомизации — пользователь, а метрика считается на клики, которых у пользователя много. Простой t-тест по кликам занижает дисперсию (клики одного юзера коррелируют) и раздувает ложноположительные. Нужно оценить дисперсию ratio-метрики корректно через дельта-метод.
Дано на группу: для каждого пользователя есть $x_i$ — суммарная выручка, $y_i$ — число кликов. Метрика группы: $R = \frac{\sum x_i}{\sum y_i}$.
Пример (5 юзеров): revenue = [100, 0, 250, 50, 300], clicks = [2, 1, 5, 1, 4].
Это задание для уровня hard. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях.
На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания