BigData/Apache Airflow
[Airflow] Airflow 3.0 version 변경점 정리
스파이디웹
2025. 1. 17. 10:14
728x90
Airflow가 2025 3월31일에 공개될 예정인데, 관련해서 어떤 변경점이 있는지 정리해보겠습니다.
그 동안 사용자들이 추가 기능을 요구 한 것은 아래와 같았습니다. 정말 사용자 입장에서 다 필요한 것들을 공통적으로 생각하고 있었다고 동의할 수 밖에 없는 항목들 인 것 같습니다.
Airflow 3.0 변경점
TASK 실행에 대한 변경 사항
(확실히 대세인 오픈 소스 3대장)
SDK 변경사항
importing form the airflow module 이 deprecate될 예정
1) Python 3.9 이상 지원
- Airflow 3.0은 Python 3.9 이상의 버전만을 지원하며, 이는 최신 Python 기능과 보안 업데이트를 활용하기 위함
- 기존 워크플로와 플러그인이 Python 3.9 이상과 호환되는지 확인 필요
2) Airflow 2.x deprecate 예정인 코드 삭제
- Streamlined Codebase: 코드베이스가 간소화되어 프로젝트 유지보수와 기여가 더 쉬워짐
- Encouraging Best Practices: 사용자들이 최신 방식과 API를 채택하도록 유도함
3) 보안 및 컴플라이언스 강화
- Mandatory Secure Configurations: 암호화 및 인증을 위한 보안 기본 설정을 구현
- Enhanced RBAC: 더 세분화된 권한과 역할 제공
- Compliance Features: GDPR, HIPAA 등 규제 준수를 돕는 도구들
4) UI 대폭 변경(간소화와 표준화)
React 기반의 새로운 사용자 인터페이스를 도입하여 내비게이션이 개선되고 실시간 갱신 및 다크 모드 옵션이 추가
변경 사항
- 개편된 웹 UI: 더욱 깔끔하고 직관적인 인터페이스 및 개선된 탐색 기능
- 통합된 CLI 명령어: 단순화된 명령어 구조 및 옵션
변경 이유
- 사용자 경험 개선: 신규 사용자의 접근성을 높이고, 기존 사용자의 효율성을 향상
- 일관성 유지: 인터페이스 표준화를 통해 혼란과 오류 감소
5) 성능 개선 및 확장성 증가
변경 사항
- 최적화된 스케줄러: 스케줄러 개선을 통해 작업 실행 속도 향상
- 비동기 처리 도입: 비동기 프로그래밍 적용으로 더 많은 동시 작업 처리 가능
- 리소스 관리 강화: 확장성을 고려한 효율적인 리소스 활용
변경 이유
- 증가하는 데이터 수요 대응: 워크플로우가 점점 더 복잡해져 성능 개선이 필요
- 효율성 향상: 최적화를 통해 인프라 비용 절감 효과 기대
6) 다양한 언어 지원
- python 뿐만 아니라, Go, Java, Javascript, 그리고 Typescript 지원할 예정
7) edge(remote) worker(executor)사용을 통한 원격 Airflow cluster 접근
8) DAG Versioning
이외에도 많은 변경점이 있는데 자세한 사항은 하단 참조의 confluence 링크에 나와 있습니다.
참조:
https://www.astronomer.io/airflow/3-0/
https://blog.det.life/airflow-3-0-promises-us-real-event-driven-scheduling-55fbf1cb5943
https://cwiki.apache.org/confluence/display/AIRFLOW/AIP-38+Modern+Web+Application
728x90