[BigData] Apache Airflow 설치 및 실습하기 series (2) Airflow 2.1 ubuntu 20.04에 설치하기

안녕하세요 이번 포스트에는 Airflow만 독단적으로 설치해보겠습니다. 다음포스트에는 DAG파일을 집중분석하여 실습해보도록 하겠습니다.

---

준비사항

• 우분투 20.04 LTS 서버와 충분한 디스크 공간
• sudo 와 root접근 권한이 있는 계정
• Python:3.6,3.7,3.8 버전(3.9는 지원안한다)
• PostgreSQL(9.6,10,11,12,13), MySQL(5.7,8), SQLite(3.15.0+)

 

*우리는 Apache Airflow에 MySQL 5.7버전을 사용할 것입니다.

 

혹시 ubuntu가 깔려있지 않으시다면 아래의 글을 참고해주세요.

2021.04.26 - [BigData] - [Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기

[Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기

 

혹시 MySQL이 깔려있지 않거나, 까시는 방법을 모르시면 아래의 링크를 참고해주세요

https://spidyweb.tistory.com/233

[Linux] ubuntu 18.04에 MySQL, PostgreSQL 설치하기

ssh 를 통해 powershell이랑 통신하는 법을 모르시는 분은 아래의 링크를 참조해주세요.

https://spidyweb.tistory.com/213

[Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 2.ubuntu terminal과 SSH 통신

---

1. pip 설치하기

pip는 파이썬으로쓰여진 소프트웨어 패키지를 설치하기위한 관리시스템이다.

1) sudo apt-get install software-properties-common

2) sudo apt-add-repository universe

3) sudo apt-get update

4) sudo apt-get install python-setuptools

5) sudo apt install python3-pip

 

 

---

2. Apache Airflow 의존성 패키지 설치하기

1) sudo apt-get install libmysqlclient-dev

2) sudo apt-get install libssl-dev

3) sudo apt-get install libkrb5-dev

---

3. Apache Airflow 설치하기

1) sudo apt install python3-virtualenv

2) virtualenv airflow_spidyweb

3) cd airflow_spidyweb/bin

 

4) source activate

5) export AIRFLOW_HOME=~/airflow

 

6) pip3 install apache-airflow

7) pip3 install typing_extensions

8) airflow db init

---

4. Airflow 시작해보기

1) 권한 있는 airflow 유저만들기

airflow users create \
 --username admin \
 --firstname Admin \
 --lastname spidyweb \
 --role Admin \
 --email admin@spidyweb.com

2) 웹 서버 띄우기 위한 포트포워딩

 

3) 웹 서버 띄우기

airflow webserver -p 8080

4) 또 다른 콘솔띄우기

• airflow 웹서버는 띄워져있으므로 새로운 콘솔을 하나띄워줍니다.

5) airflow 스케쥴러 실행하기

 

export AIRFLOW_HOME=~/airflow

airflow scheduler

6) airflow 웹 접속

• 포트포워딩을 위에서 마쳤으므로 127.0.0.1:8080으로 접속

• 위에서 만든 권한있는 airflow user로 접속, 나같은 경우엔 admin/root

 

이것으로 airflow 설치를 완료하였습니다. 다음 포스트에는 airflow를 이용하여 DAG을 구성하고 실습해보도록 하겠습니다.