Ретраи, таймауты и конкуррентность как единый механизм

Ретраи в Airflow полезны только тогда, когда они встроены в нормальную модель отказов. Если повторять запросы без пауз и ограничений, вы создаёте лавину: источник не успевает восстановиться, растёт очередь, и вместо одного сбоя вы получаете каскад ошибок. Таймауты здесь так же важны, как и ретраи, потому что без таймаутов “неудачный” запрос может висеть бесконечно и заблокировать весь DAG. А если ещё и параллелизма слишком много, то даже корректные ретраи начинают работать против вас.

Хорошая эксплуатационная настройка выглядит как связка: таймаут ограничивает зависание, ретрай с backoff даёт источнику шанс восстановиться, а лимиты параллельности защищают внешние системы и вашу базу. В результате вы получаете предсказуемое поведение при сбоях и стабильную пропускную способность. Это напрямую влияет на доверие бизнеса: данные либо обновляются вовремя, либо быстро и ясно фиксируется факт задержки, а не появляется «серый» режим, когда пайплайн вроде жив, но никто не понимает, что происходит.