RecSys: offline metrics +12%, online A/B 0% — почему?

Ситуация: Новая рекомендательная модель в offline-тесте показывает +12% к recall@10. В online A/B на проде — uplift не статзначим. Что не так?

RecSys для feed. Offline eval — historical replay. Online — production A/B.

Доступные данные

• offline_eval: model_version, metric, value
• production_logs: user_id, item_id, action (impression/click/purchase)
• ab_assignments: user_id, variant

Задачи

• Возможные причины divergence (5+).
• Какие диагностические запросы запустишь.
• Что предложишь для следующего цикла?

Все кейсы для подготовки → ← Все кейсы