| Параметр | Airflow | Dagster |
|---|---|---|
| Базовая модель | Airflow: task/DAG-центричная — описываете шаги и их порядок | Dagster: asset-центричная (таблицы/датасеты как объекты); Prefect: Python-функции + @materialize для ассетов |
| Линия данных (lineage) | Airflow: через datasets, но вторично к тасках | Dagster: lineage и качество данных встроены как первоклассные концепции; Prefect: asset checks в новом слое |
| Опыт разработчика | Airflow: зрелый, но многословный; развитая UI | Prefect: самый простой старт, чистый Python; Dagster: сильный UI и типизация, но кривая обучения выше |
| Эксплуатация / инфраструктура | Airflow: тяжелее в развёртывании (scheduler, workers, метаданные) | Prefect: легковесный ops, Cloud + воркеры запускаются за день; Dagster: между ними |
| Экосистема и зрелость | Airflow: крупнейшее комьюнити, максимум провайдеров и прод-миль | Dagster/Prefect: моложе, экосистема меньше, но растут |
| Интеграция с dbt | Airflow: через провайдер/Cosmos, работает, но не нативно | Dagster: asset-модель совпадает с логикой dbt — лучшая интеграция; Prefect: поддержка есть |
| Динамические пайплайны | Airflow: dynamic task mapping, но исторически статичные DAG | Prefect: динамика из коробки (обычный Python-код); Dagster: партиции и динамические джобы |
| Когда это дефолт | Airflow: уже вложились в платформу, нужна максимальная зрелость и найм | Dagster: greenfield с dbt; Prefect: команда 20-100 человек, не хочет админить инфру |
В Airflow вы описываете задачи и порядок: сначала выгрузи, потом трансформируй, потом загрузи. Что именно получилось на выходе, оркестратор не знает — он следит за успешностью шагов. В Dagster вы описываете ассеты — конкретные таблицы и датасеты, которые должны появиться. Оркестратор знает, какой ассет из какого получается, строит граф линии данных и умеет пересобирать только устаревшие. Для dbt-стека это удобнее, потому что dbt мыслит ровно так же — моделями.
Prefect. Вы пишете обычные Python-функции и оборачиваете их декораторами — не нужно осваивать отдельную модель DAG-ов или ассетов. Инфраструктура минимальна: Prefect Cloud плюс воркеры поднимаются быстро. Airflow сложнее из-за scheduler, workers и базы метаданных; Dagster требует освоить asset-парадигму.
Airflow с большим отрывом. Это индустриальный стандарт с самым большим комьюнити и наибольшим числом продакшен-внедрений, поэтому именно его чаще всего требуют. Dagster и Prefect встречаются в современных стеках и стартапах, но как основной навык для старта карьеры разумнее сначала выучить Airflow.
Airflow 3.0 обновил ядро; 3.1 (сентябрь 2025) добавил Human-in-the-Loop операторы для ручных подтверждений в пайплайне; 3.2 (апрель 2026) принёс партиционирование ассетов и мульти-командные развёртывания. Эти релизы сократили часть разрыва с Dagster по работе с ассетами, оставив за Airflow преимущество зрелости и экосистемы.
Аналитику полезно понимать оркестрацию, даже если пайплайны пишут дата-инженеры: вы будете читать DAG-и, дебажить, почему витрина не обновилась, и ставить свои регулярные выгрузки. Глубоко администрировать оркестратор — задача инженера, но базовое умение прочитать граф зависимостей и найти упавший шаг ожидают почти на любой аналитической роли.
Postgresql vs Clickhouse · Pandas vs Polars · Tableau vs Powerbi Datalens Superset · SQL vs Pandas · Dbt vs Airflow · Redshift vs Bigquery vs Snowflake · Greenplum vs Clickhouse · Excel vs SQL · Postgresql vs Mysql · Sqlite vs Postgresql · Spark vs Pandas · Power Bi vs Excel · Clickhouse vs Druid · Python vs R