07시스템 · FLOW · OPS
데이터 파이프라인 운영 콘솔
Airflow 위에 얹은 운영 콘솔. 매일 100개 이상 도는 잡의 성공·실패·재시도와 데이터 신선도를 한눈에 봅니다.
- Role
- 데이터 엔지니어
- Year
- 2024
- Type
- 시스템
AirflowETL재시도모니터링
01
운영 콘솔
Airflow 위의 운영 콘솔. 오늘 실행된 DAG와 데이터 신선도.
FLOW — Console
02
DAG 그래프
선택한 DAG의 노드별 상태와 실행 시간.
FLOW — DAG
03
잡 로그
실패 / 재시도 잡의 stderr·stdout. 실패 패턴 그룹.
FLOW — Logs
04
스케줄 설정
cron 표현식 + 데이터 의존성 + 백필.
FLOW — Schedule