이번 포스트에는 하둡 fully-distributed mode 구축을 해보도록 하겠습니다.
하둡 구성 스펙
호스트OS - windows10 home
게스트OS들 - centOS7
Hadoop - 3.1.0
Zookeeper - 3.4.10
jdk - 1.8.0_191
호스트OS는 공유기(WI-FI) 연결 환경
서버 4대를 활용한 하둡 HA 구성:
namenode1: 액티브 네임노드, 저널노드 역할
rmnode1: 스탠바이 네임노드, 리소스 매니저, 저널노드 역할, 데이터 노드 역할
datanode1: 저널노드 역할, 데이터 노드 역할
datanode2: 데이터 노드 역할
총 4개의 노드를 이용하여 HA(고가용성)구성을 한 하둡 클러스터를 구성 해보겠습니다.
1. VirtualBox Host Only Network 주소 확인하기
윈도우 탐색기 – cmd – ipconfig 입력 – VirtualBox Host-Only Network 주소 확인
(아래 Virtual Machine 내 호스트 네트워크 관리자 설정에 필요)
2. 가상 머신(Virtual Box) 실행 및 호스트 네트워크 관리자 설정
IPv4 주소에 위 명령 프롬포트 창의 VirtualBox Host-Only Network 주소를 입력
1.DHCP 서버 사용함 체크 해제
2.IPv4주소 192.168.56.1
3.IPv4 서브넷 마스크 255.255.255.0 설정
3. 가상 서버 생성
이름에 cent라고 치면 자동으로 Red Hat 64bit가 설정됨,
이후에 원하는 이름 설정
namenode1
rmnode1
datanode1
datanode2
메모리 크기
namenode1 : 2048MB
rmnode1 : 1024MB
datanode1 : 1024MB
datanode2 : 1024MB
하드 디스크(4개 노드 전부)
지금 새 가상 하드 디스크 만들기
하드 디스크 파일 종류(4개 노드 전부)
VDI(VirtualBox 디스크 이미지)
물리적 하드드라이브에 저장(4개 노드 전부)
동적 할당
파일 위치 및 크기(4개 노드 전부)
기본값 사용
4. CentOS-7 iso 이미지 다운로드
https://www.centos.org/download/
Download
As you download and use CentOS Linux or CentOS Stream (What's the difference?), the CentOS Project invites you to be a part of the community as a contributor. There are many ways to contribute to the project, from documentation, QA, and testing to coding c
www.centos.org
CentOS 공식 사이트에서 7버전을 다운
5. 네트워크 구성(4개 노드 전부)
1. 모든 노드에 설정 네트워크 어댑터 1이 NAT(enp0s3)로 되어 있는 지 확인
*가상 서버를 생성하였을 때, 기본적으로 어댑터 1에는 NAT 어댑터가 등록된다.
NAT 어댑터는 게스트 OS(새로 생성한 가상서버)가 호스트OS(로컬PC의 운영체제 여기서는 WINDOWS 10)의 IP를 통해 외부 인터넷에 연결해주는 가장 간단한 방법이다. 외부 인터넷과의 연결을 통해 wget등의 명령어로 필요한 모듈들을 설치한다. 하지만 게스트OS간의 통신이 불가하다.
2. 어댑터 2 네트워크 어댑터 사용하기 check -> 호스트 전용 어댑터(enp0s8) -> 무작위 모드 모두 허용
*호스트 전용 어댑터는 외부 인터넷과는 단절되어 있지만 구축한 게스트OS간의 통신이 가능하다.
*이 두 어댑터를 사용하여 서로의 단점을 보완, 게스트->외부 인터넷, 게스트 -> 게스트 통신이 가능하다.
하둡은 분산 처리 시스템이기 때문에 각 게스트OS간의 통신이 원활이 이루어져야 한다.
6. 가상 서버 실행(4개 노드 전부)
가상 서버를 실행합니다.
이 전에 받았던 CentOS-7 iso 이미지를 시동 디스크로 선택합니다.
Installation Destination 설정
Network & Hostname 설정
enp0s3 를 ON 스위치로 변경합니다.
enp0s8은 나중에 직접 변경할 예정이므로 건들지 않습니다.
Root password 설정
이후 Reboot 로그인 확인
다음 포스트에는 각 노드마다 hostname, 고정 ip를 할당해 보도록 하겠습니다.
댓글