[Airflow] Airflow 3.0 version 탐구, docker로 설치 해보기

이번에 Airflow 3.0 version이 release됐는데, 관련해서 docker로 한번 설치해보고, 변경 사항들을 직접 확인해보겠습니다.

 

---

1. AWS에 EC2 생성

서버 스펙
- 이미지: Amazon linux2
- Instance type: c5n.large(2Vcores, 5.3GB Mem)

 

우선 EC2에 적당한 스펙의 서버를 하나 생성합니다.

 

연결하기 위해 미리 생성해둔 pem파일 권한을 변경해주고, ssh로 연결해줘도 되지만, 저는 편의상 콘솔에서 바로 붙어서 사용하겠습니다.

 

 

---

2. Docker 설치

1) 도커 설치

$ sudo yum update -y
$ sudo yum install docker -y

 

2) 도커 실행

$ sudo systemctl start docker
$ sudo service docker start

---

2. docker-compose 설치 및 권한 부여

1) docker-compose 설치

sudo curl -L "https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

 

2) docker-compose 권한 부여

$ sudo chmod +x /usr/local/bin/docker-compose

3) docker-compose 버전 확인

$ docker-compose --version

 

4) 권한 부여

$ sudo chmod 666 /var/run/docker.sock

---

3. Airflow 설치 및 확인

1) airflow docker-compose.yaml 다운로드

$ curl -LfO 'https://airflow.apache.org/docs/apache-airflow/3.0.1/docker-compose.yaml'

2) airflow 유저 설정

$ mkdir -p ./dags ./logs ./plugins ./config
$ echo -e "AIRFLOW_UID=$(id -u)" > .env

3) airflow 메타 DB 시작

$ docker-compose up airflow-init

4) 서비스 올리기

$ docker-compose up -d
# 데몬(백그라운드)으로 올리기

* flower 서비스가 안올라온다면 아래의 명령어로 올려줍니다.

$ docker-compose up -d flower

5) Airflow 설치 확인

SG 그룹에서 Airflow Webserver, flower port를 open

Airflow Webserver: 8080

flower : 5555

 

EC2 publicdns:8080으로 접속(airflow webserver)

(user: airflow / pwd: airflow)

 

EC2 publicDNS:5555로 접속(flower)

Airflow 3.0을 설치 해봤으니, 다음 포스트 부터는 Airflow 3.0 특징과 UI를 하나씩 다뤄보고 정리 해보겠습니다.