Мониторинг freshness данных

Условие задания

**Компания:** Авито

**Контекст:** Аналитики жалуются, что данные в витринах иногда устаревшие. Нужно построить систему мониторинга актуальности данных (freshness).

[см. код в задании]

**Задание:**
1. Напишите SQL-запрос, который для каждой таблицы из конфига проверяет freshness
2. Выведите статус: OK / STALE / CRITICAL
3. Предложите, как автоматизировать эти проверки

Пример данных

Структура для ориентира — реальные значения из эталонного решения.

CREATE TABLE dq_freshness_config (
    table_name VARCHAR(200) PRIMARY KEY,
    ts_column VARCHAR(100),            -- столбец с timestamp
    max_delay_hours INT,               -- допустимая задержка
    owner_team VARCHAR(100)
);

-- Пример конфигурации
INSERT INTO dq_freshness_config VALUES
('mart_orders', 'updated_at', 4, 'analytics'),
('mart_users', 'loaded_at', 6, 'data_engineering'),
('mart_payments', 'event_ts', 2, 'payments');

Темы

freshness мониторинг data quality SLA алерт

Подсказки

• Используйте динамический SQL или заранее подготовленные запросы для каждой таблицы
• STALE: задержка > max_delay, CRITICAL: задержка > 2x max_delay
• Для автоматизации — запускать проверки по CRON и отправлять алерт в Slack

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Мониторинг freshness данных"?

Это задание для уровня easy. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «data_engineering» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: freshness, мониторинг, data quality, SLA, алерт.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «data_engineering»?

На zasqlpython.ru есть другие задания в категории «data_engineering», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания