[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 5. Zookeeper, hadoop 계정 생성 및

이번 포스트에는 Zookeeper, hadoop 계정을 생성 하고 권한 설정 및 SSH 통신 설정을 해보겠습니다.

아직 JAVA 설치 및 환경 설정을 하지 못했다면 아래의 링크를 참고해주세요.
https://spidyweb.tistory.com/269

[BigData] Centos-7 fully distributed hadoop cluster 구성하기(하둡 클러스터) 4. JAVA 설치 및 환경 설정

---

하둡 구성 스펙
호스트OS - windows10 home
게스트OS들 - centOS7
Hadoop - 3.1.2
Zookeeper - 3.4.10
jdk - 1.8.0_191
호스트OS는 공유기(WI-FI) 연결 환경

서버 4대를 활용한 하둡 HA 구성:
namenode1: 액티브 네임노드, 저널노드 역할
rmnode1: 스탠바이 네임노드, 리소스 매니저, 저널노드 역할, 데이터 노드 역할
datanode1: 저널노드 역할, 데이터 노드 역할
datanode2: 데이터 노드 역할

총 4개의 노드를 이용하여 HA(고가용성)구성을 한 하둡 클러스터를 구성 해보겠습니다.

---

1. Zookeeper 계정 생성(namenode1, rmnode1, datanode1에만)

1) 계정 추가
adduser zookeeper

2) 패스워드 설정
passwd zookeeper
이후 원하는 값 입력

---

2. hadoop 계정 생성(4개 노드 전부)

1) 계정 추가
adduser hadoop

2) 패스워드 설정
passwd hadoop
이후 원하는 값 입력

---

3. hadoop 계정 권한 설정(4개 노드 전부)

1) 디렉토리 생성
mkdir /dfs
mkdir /yarn
mkdir /pids

2) hadoop 계정에 권한 부여
chown hadoop /dfs
chgrp hadoop /dfs
chown hadoop /yarn
chgrp hadoop /yarn
chown hadoop /pids
chgrp hadoop /pids

3) 권한 확인
cd /
ls -l

---

4. Zookeeper SSH 통신

1) zookeeper 계정 접속
su zookeeper

2) key 생성
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa;\
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys;\
chmod 0600 ~/.ssh/authorized_keys

3) 키 복사
namenode1 ssh 통신설정
ssh-copy-id -i .ssh/id_rsa.pub zookeeper@rmnode1
ssh-copy-id -i .ssh/id_rsa.pub zookeeper@datanode1

rmnode1 ssh 통신설정
ssh-copy-id -i .ssh/id_rsa.pub zookeeper@namenode1
ssh-copy-id -i .ssh/id_rsa.pub zookeeper@datanode1

datanode1 ssh 통신설정
ssh-copy-id -i .ssh/id_rsa.pub zookeeper@namenode1
ssh-copy-id -i .ssh/id_rsa.pub zookeeper@rmnode1

---

5. hadoop SSH 통신

1) hadoop 계정 로그인
su hadoop

2) key 생성
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa;\
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys;\
chmod 0600 ~/.ssh/authorized_keys

3) 키 복사
namenode1 ssh 통신설정
ssh-copy-id -i .ssh/id_rsa.pub hadoop@rmnode1
ssh-copy-id -i .ssh/id_rsa.pub hadoop@datanode1
ssh-copy-id -i .ssh/id_rsa.pub hadoop@datanode2

rmnode1 ssh 통신설정
ssh-copy-id -i .ssh/id_rsa.pub hadoop@namenode1
ssh-copy-id -i .ssh/id_rsa.pub hadoop@datanode1
ssh-copy-id -i .ssh/id_rsa.pub hadoop@datanode2

datanode1 ssh 통신설정
ssh-copy-id -i .ssh/id_rsa.pub hadoop@namenode1
ssh-copy-id -i .ssh/id_rsa.pub hadoop@rmnode1
ssh-copy-id -i .ssh/id_rsa.pub hadoop@datanode2

datanode2 ssh 통신설정
ssh-copy-id -i .ssh/id_rsa.pub hadoop@namenode1
ssh-copy-id -i .ssh/id_rsa.pub hadoop@rmnode1
ssh-copy-id -i .ssh/id_rsa.pub hadoop@datanode1

이것으로 이번 포스트는 마치겠습니다.
다음 포스트에는 zookeeper 서버 설치 및 환경설정, 실행 해 보도록 하겠습니다.

참조:
https://developer-woong.tistory.com/19?category=1184113