Schema drift: переименование поля в источнике обнулило 40% метрик витрины

Ситуация: После релиза в продуктовом сервисе колонка payment_method переименована в pay_method и добавлен новый enum-статус. JSON-загрузчик молча проглотил изменение: 40% метрик в витрине ушли в NULL, а сегмент по способу оплаты схлопнулся.

Нужно найти момент дрейфа схемы, оценить downstream-урон по витринам и дашбордам, восстановить данные и поставить контракт данных, чтобы schema drift ловился до прода, а не пользователями. Загрузка raw JSON в events_raw, парсинг в payments_parsed.

Доступные данные

• events_raw: event_id, payload_json, source_service, schema_version, ingest_ts
• payments_parsed: event_id, user_id, amount, payment_method, status, parsed_at
• schema_registry: source_service, field_name, data_type, first_seen, last_seen
• mart_payments_daily: dt, payment_method, payments_cnt, revenue, null_method_share, built_at
• service_deploys: service, deploy_id, deployed_at, change_summary

Задачи

• Найти момент, когда payment_method начал массово приходить NULL, и сопоставить с деплоями сервиса.
• Подтвердить дрейф: достать ключи из payload_json и показать появление pay_method и нового статуса в schema_registry.
• Оценить downstream-урон: какие дни и сегменты витрины повреждены, какова доля NULL по дням.
• Восстановить парсинг с COALESCE по обоим именам поля и нормализацией нового enum-статуса, перестроить затронутые партиции.
• Предложить data contract: версионирование схемы, проверка обязательных полей на ингесте, алерт на появление новых/исчезновение полей.

Все кейсы для подготовки → ← Все кейсы