Kafka consumer lag растёт — задержка дашборда уже 15 минут
Сложный
Data Engineering
50 мин
Incident в streaming pipeline
X5
✓ Реальный
Ситуация: У real-time дашборда продаж задержка выросла с 30 секунд до 15 минут. Consumer lag в Kafka топике скачет до 2M сообщений. Что произошло?
Kafka + Flink + ClickHouse. События продаж льются в Kafka (50K event/sec пик). Flink-job агрегирует и пишет в CH. Дашборд читает из CH.
Доступные данные
kafka_metrics: topic, partition, consumer_group, lag, tsflink_metrics: job_name, processing_rate, backpressure, tsclickhouse_metrics: query_duration, rows_written_per_sec, tsincidents_log: ts, event, severity
Задачи
- Локализуй bottleneck: Kafka, Flink, ClickHouse?
- Найди когда началась задержка и что произошло одновременно.
- Краткосрочный фикс: что можно сделать прямо сейчас.
- Долгосрочный план: предотвратить повтор.
Все кейсы для подготовки →
← Все кейсы