[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 6. Zookeeper 설치, 환경설정, 실행

이번 포스트에는 zookeeper 를 설치하고, 환경설정하여 실행 해보겠습니다.

 

아직 zookeeper 및 hadoop 계정 생성과 권한 설정을 완료하지 못했다면 아래의 링크를 참고해주세요.

https://spidyweb.tistory.com/270

[BigData] Centos-7 fully distributed hadoop cluster 구성하기(하둡 클러스터) 5. Zookeeper, hadoop 계정 생성 및

---

하둡 구성 스펙

호스트OS - windows10 home

게스트OS들 - centOS7

Hadoop - 3.1.2

Zookeeper - 3.4.10

jdk - 1.8.0_191

호스트OS는 공유기(WI-FI) 연결 환경

 

서버 4대를 활용한 하둡 HA 구성:

namenode1: 액티브 네임노드, 저널노드 역할

rmnode1: 스탠바이 네임노드, 리소스 매니저, 저널노드 역할, 데이터 노드 역할

datanode1: 저널노드 역할, 데이터 노드 역할

datanode2: 데이터 노드 역할

 

총 4개의 노드를 이용하여 HA(고가용성)구성을 한 하둡 클러스터를 구성 해보겠습니다.

---

1. zookeeper 계정 접속 및 설치(namenode1만)

namenode1으로 설치하여 각 노드에 배포하는 방식으로 하겠습니다.

 

1) root 계정으로 wget 설치

su root

sudo yum install wget

 

2) zookeeper 계정 접속

su zookeeper

 

3) zookeeper 설치

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

4) 확인

ls

5) 압축 해제

tar xvfz zookeeper-3.4.10.tar.gz

---

2. zookeeper 환경 설정(namenode1만)

1) zookeeper conf디렉토리로 이동

cd zookeeper-3.4.10

cd conf

 

2) zookeeper config file 복사 및 수정하기

cp zoo_sample.cfg zoo.cfg

nano zoo.cfg

 

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/home/zookeeper/data

clientPort=2181

maxClientCnxns=0

maxSessionTimeout=180000

server.1=namenode1:2888:3888

server.2=rmnode1:2888:3888

server.3=datanode1:2888:3888

---

3. 환경 설정된 zookeeper 디렉토리 재압축(namenode1만)

1) /home/zookeeper로 옮기기

cd ~

 

2) 재압축 하기

tar cvfz zookeeper.tar.gz zooekeeper-3.4.10

 

3)확인하기

ls

---

4. 재압축 폴더 rmnode1, datanode1에 배포하기

1) 각 해당하는 노드에 배포하기(namenode1만)

scp zookeeper.tar.gz zookeeper@rmnode1:/home/zookeeper

scp zookeeper.tar.gz zookeeper@datanode1:/home/zookeeper

2) 압축파일 해제하기(rmnode1, datanode1만)

tar xvfz zookeeper.tar.gz

---

5. myid 지정(namenode1, rmnode1, datadnode1만)

1) data 디렉토리 만들기

mkdir data

 

2) myid 파일 만들기, 수정하기

cd data

nano myid

 

namenode1에는 1만 적고 저장

rmnode1에는 2만 적고 저장

datanode1에는 3만 적고 저장

---

6. zookeeper 서버 실행(namenode1, rmnode1, datadnode1만)

1) 서버 실행하기

cd ~

cd zookeeper-3.4.10

./bin/zkServer.sh start

2) 서버 확인하기(3개 노드에서 전부 zookeeper가 실행되어야 합니다.)

./bin/zkServer.sh status

3) 서버 종료하기

./bin/zkServer.sh stop

 

이것으로 zookeeper 설치 및 환경설정, 실행 까지 해보았습니다.

다음 포스트에는 하둡 설치, 환경설정, 실행 해보도록 하겠습니다.

 

참조:

https://developer-woong.tistory.com/20?category=1184113