728x90 operator2 [Airflow] KubernetesPodOperator 사용법 정리 1. KubernetesPodOperator란?Kubernetes 위에 정의한 자원과 빌드한 이미지를 Pod를 생성해 실행 시킬 수 있는 Airflow OperatorCeleryExecutor, KubernetesExecutor 모두 가능하다(kubernetes cluster만 있다면)2. Pod 설정 항목private image 저장소 URLetl_image_url = "이미지 저장소 URL"# task에 아래와 같이 사용image=etl_image_url, # task 내 image property에 private image repository url을 입력 image pull secretspod에 배포할 이미지를 가져올 때 secret 지정from kubernetes.client import mod.. 2024. 4. 27. [BigData] Apache Airflow 설치 및 실습 하기 series (1) Airflow란? DAG란? 안녕하세요 이번 포스트에는 Airflow의 개념에 대해서 알아보고 어떤 역할을 하는지, 그리고 핵심인 DAG파일에 대해서 알아보겠습니다. 1. Apahce Airflow란? 에어비앤비에서 python기반으로 개발한 워크플로우 스케줄링, 모니터링 플랫폼 workflow management tool oozie와 luigi와 같이 데이터파이프라인을 구성할 때 사용된다. 2. airflow 의 특징 및 장점 airflow 파이프라인(동작순서, 방식)을 파이썬 코드를 이용하여 DAG를 구성하기 때문에 동적인 구성이 가능 oozie와 같은 ui로 구성하는 것에 비해 비교적 큰 파이프라인을 코드로써 편하게 구성할 수 있다. airflow webserver가 있어 웹 UI를 표현하고, workflow 상태를 표시,실행.. 2021. 10. 17. 이전 1 다음 728x90
