Оркестрация DAG: Airflow задача с зависимостями

Условие задания

**Компания:** Яндекс

**Контекст:** Нужно описать DAG в Apache Airflow для ежедневного ETL-пайплайна. Пайплайн состоит из этапов:
1. Извлечение данных из трёх источников (параллельно)
2. Проверка качества каждого источника
3. Трансформация и объединение данных
4. Загрузка в витрину
5. Обновление дашборда

**Задание:**
1. Напишите определение DAG с правильными зависимостями
2. Добавьте обработку ошибок: retry, timeout, алерт при сбое
3. Объясните, как бы вы тестировали этот DAG

Темы

Airflow DAG оркестрация зависимости ETL

Подсказки

• Используйте PythonOperator или BashOperator для каждой задачи
• Параллельные задачи задаются через list: [task1, task2, task3] >> next_task
• default_args задаёт retries, retry_delay, email_on_failure

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Оркестрация DAG: Airflow задача с зависимостями"?

Это задание для уровня medium. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «data_engineering» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: Airflow, DAG, оркестрация, зависимости, ETL.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «data_engineering»?

На zasqlpython.ru есть другие задания в категории «data_engineering», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания