안녕하세요 이번 포스트에는 Airflow만 독단적으로 설치해보겠습니다. 다음포스트에는 DAG파일을 집중분석하여 실습해보도록 하겠습니다.
준비사항
- 우분투 20.04 LTS 서버와 충분한 디스크 공간
- sudo 와 root접근 권한이 있는 계정
- Python:3.6,3.7,3.8 버전(3.9는 지원안한다)
- PostgreSQL(9.6,10,11,12,13), MySQL(5.7,8), SQLite(3.15.0+)
*우리는 Apache Airflow에 MySQL 5.7버전을 사용할 것입니다.
혹시 ubuntu가 깔려있지 않으시다면 아래의 글을 참고해주세요.
[Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기
1.virtual box를 다운로드한다. www.virtualbox.org/wiki/Downloads Downloads – Oracle VM VirtualBox Download VirtualBox Here you will find links to VirtualBox binaries and its source code. VirtualBox..
spidyweb.tistory.com
혹시 MySQL이 깔려있지 않거나, 까시는 방법을 모르시면 아래의 링크를 참고해주세요
https://spidyweb.tistory.com/233
[Linux] ubuntu 18.04에 MySQL, PostgreSQL 설치하기
1.MySQL 설치 1) apt-get update sudo apt-get update 2) MySQL server 설치 sudo apt-get install-mysql server 3) mysql 실행하기 sudo systemctl start mysql #시작할때 자동으로 mysql실행하기 su..
spidyweb.tistory.com
ssh 를 통해 powershell이랑 통신하는 법을 모르시는 분은 아래의 링크를 참조해주세요.
https://spidyweb.tistory.com/213
[Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 2.ubuntu terminal과 SSH 통신
1.ubuntu에 openssh-server 설치 2.ssh 시작하기 3.포트포워딩 설정하기 virtualbox 설정 - 네트워크 - 포트포워딩 + 클릭 - ubuntu를 만들게되면 보통 ip가 10.0.2.15로 할당됩니다. 여기서 중요한건 게스트ip..
spidyweb.tistory.com
1. pip 설치하기
pip는 파이썬으로쓰여진 소프트웨어 패키지를 설치하기위한 관리시스템이다.
1) sudo apt-get install software-properties-common
2) sudo apt-add-repository universe
3) sudo apt-get update
4) sudo apt-get install python-setuptools
5) sudo apt install python3-pip
2. Apache Airflow 의존성 패키지 설치하기
1) sudo apt-get install libmysqlclient-dev
2) sudo apt-get install libssl-dev
3) sudo apt-get install libkrb5-dev
3. Apache Airflow 설치하기
1) sudo apt install python3-virtualenv
2) virtualenv airflow_spidyweb
3) cd airflow_spidyweb/bin
4) source activate
5) export AIRFLOW_HOME=~/airflow
6) pip3 install apache-airflow
7) pip3 install typing_extensions
8) airflow db init
4. Airflow 시작해보기
1) 권한 있는 airflow 유저만들기
airflow users create \
--username admin \
--firstname Admin \
--lastname spidyweb \
--role Admin \
--email admin@spidyweb.com
2) 웹 서버 띄우기 위한 포트포워딩
3) 웹 서버 띄우기
airflow webserver -p 8080
4) 또 다른 콘솔띄우기
- airflow 웹서버는 띄워져있으므로 새로운 콘솔을 하나띄워줍니다.
5) airflow 스케쥴러 실행하기
export AIRFLOW_HOME=~/airflow
airflow scheduler
6) airflow 웹 접속
- 포트포워딩을 위에서 마쳤으므로 127.0.0.1:8080으로 접속
- 위에서 만든 권한있는 airflow user로 접속, 나같은 경우엔 admin/root
이것으로 airflow 설치를 완료하였습니다. 다음 포스트에는 airflow를 이용하여 DAG을 구성하고 실습해보도록 하겠습니다.
댓글