BigData/Apache Airflow
[Airflow] Amazon linux2에 docker-compose로 airflow 설치하기
스파이디웹
2023. 3. 22. 11:37
728x90
AWS EC2에서 Amazon linux2 OS로 서버가 실행되고 있는 상황에서 부터 시작하겠습니다.
1. docker 설치
$ sudo yum update -y
$ sudo yum install docker -y
docker 시작
$ sudo systemctl start docker
$ sudo service docker start
2. docker-compose 설치 및 권한 부여
1) docker-compose 설치
$ sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
2) docker-compose 권한 부여
$ sudo chmod +x /usr/local/bin/docker-compose
3) docker-compose 버전 확인
$ docker-compose --version
4) 권한 부여
$ sudo chmod 666 /var/run/docker.sock
3. Airflow 설치 및 확인
1) airflow docker-compose.yaml 다운로드
$ curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.5.2/docker-compose.yaml'
2) airflow 유저 설정
$ mkdir -p ./dags ./logs ./plugins
$ echo -e "AIRFLOW_UID=$(id -u)" > .env
3) airflow 메타 DB 시작
$ docker-compose up airflow-init
4) 서비스 올리기
$ docker compose up -d
# 데몬(백그라운드)으로 올리기
* flower 서비스가 안올라온다면 아래의 명령어로 올려줍니다.
$ docker-compose up -d flower
5) Airflow 설치 확인
SG 그룹에서 Airflow Webserver, flower port를 open
Airflow Webserver: 8080
flower : 5555
EC2 publicdns:8080으로 접속(airflow webserver)
EC2 publicDNS:5555로 접속(flower)
728x90