[Airflow] Amazon linux2에 docker-compose로 airflow 설치하기

AWS EC2에서 Amazon linux2 OS로 서버가 실행되고 있는 상황에서 부터 시작하겠습니다.

 

1. docker 설치

$ sudo yum update -y
$ sudo yum install docker -y

 

docker 시작

$ sudo systemctl start docker
$ sudo service docker start

 

---

2. docker-compose 설치 및 권한 부여

1) docker-compose 설치

$ sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

 

2) docker-compose 권한 부여

 $ sudo chmod +x /usr/local/bin/docker-compose

 

3) docker-compose 버전 확인

$ docker-compose --version

 

4) 권한 부여

$ sudo chmod 666 /var/run/docker.sock

 

 

---

3. Airflow 설치 및 확인

1) airflow docker-compose.yaml 다운로드

$ curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.5.2/docker-compose.yaml'

 

2) airflow 유저 설정

$ mkdir -p ./dags ./logs ./plugins
$ echo -e "AIRFLOW_UID=$(id -u)" > .env

 

3) airflow 메타 DB 시작

$ docker-compose up airflow-init

 

4) 서비스 올리기

$ docker compose up -d
# 데몬(백그라운드)으로 올리기

* flower 서비스가 안올라온다면 아래의 명령어로 올려줍니다.

$ docker-compose up -d flower

5) Airflow 설치 확인

SG 그룹에서 Airflow Webserver, flower port를 open

Airflow Webserver: 8080

flower : 5555

 

EC2 publicdns:8080으로 접속(airflow webserver)

EC2 publicDNS:5555로 접속(flower)