Всплеск качества данных: 18% событий приходят с задержкой и дублями после смены SDK

Ситуация: После релиза нового мобильного SDK DAU в витрине просел на 9%, а доля NULL в user_id выросла с 0.5% до 7%. Параллельно аналитики жалуются на дубли событий и на то, что вчерашние числа за ночь меняются.

Нужно разделить реальное падение продукта от деградации качества данных в пайплайне событий: late-arriving events, дубли при ретраях клиента, рост NULL-ключей. Витрина dwh_events_daily строится в 03:00 по event_date.

Доступные данные

• raw_events: event_id, user_id, device_id, event_name, event_ts, ingest_ts, app_version, dedup_key
• dwh_events_daily: event_date, event_name, users_cnt, events_cnt, null_user_share, built_at
• sessions: session_id, user_id, device_id, started_at, app_version
• app_releases: app_version, released_at, rollout_pct
• ingest_errors: event_id, error_type, raw_payload, ingest_ts

Задачи

• Замерить долю NULL user_id и дублей dedup_key по app_version до и после релиза SDK.
• Оценить late-arriving: распределение разницы ingest_ts и event_ts по перцентилям, доля событий, пришедших после построения витрины (03:00).
• Понять, реальное ли падение DAU или артефакт — пересчитать DAU только по device_id (fallback-ключ) и по дозагруженным late-событиям.
• Проверить, бьются ли NULL user_id с конкретными версиями SDK и с записями в ingest_errors.
• Предложить дедупликацию по dedup_key, окно поздних данных (lookback) и реконсиляцию ранее построенных дней.

Все кейсы для подготовки → ← Все кейсы