timlid.ru | блог про Data Engineering Заметки, инструменты и кейсы из реальной работы

Оркестрация и эксплуатация

Публикации по выбранной категории.

Ретраи, таймауты и конкуррентность как единый механизм

Ретраи в Airflow полезны только тогда, когда они встроены в нормальную модель отказов. Если повторять запросы без пауз и ограничений, вы создаёте лавину: источник не успевает восстановиться, растёт очередь, и вместо одного сбоя вы получаете каскад ошибок.

Airflow не делает пайплайн надежным сам по себе

Airflow часто воспринимают как «установили оркестратор — стало надёжно». На деле Airflow всего лишь управляет запуском задач, но не гарантирует корректность данных и не спасает от архитектурных ошибок.

← Назад Страница 1 / 1 Вперёд →