Airflow не делает пайплайн надежным сам по себе

Airflow часто воспринимают как «установили оркестратор — стало надёжно». На деле Airflow всего лишь управляет запуском задач, но не гарантирует корректность данных и не спасает от архитектурных ошибок. Если задача не идемпотентна, Airflow лишь ускорит появление дублей при повторных запусках. Если нет таймаутов, задачи будут висеть и блокировать расписание. Если параллелизм не ограничен, источник можно легко “заддосить” собственными же джобами, а база начнёт ловить блокировки.

Надежная эксплуатация в Airflow начинается с дисциплины: понятные границы задач, контроль состояния прогонов, корректные параметры расписания и управляемая конкуррентность. Важна и прозрачность: когда по каждому прогону видно, что было на входе, что вышло на выходе, сколько заняло времени и куда ушли проблемные записи. Тогда Airflow становится центром операционного управления данными, а не просто «кнопкой запуска», после которой всё равно приходится разбираться вручную.