본문 바로가기
728x90

하둡 클러스터8

[BigData] 완전 분산 하둡 클러스터(hadoop cluster)(4개 노드) 에 "Spark"(Spark on Yarn cluster) 설치 및 실습 하기 저번 포스트까지는 하둡 클러스터를 구성해보았습니다. 이번 포스트에는 구성된 하둡 클러스터에 Spark를 설치해보겠습니다. 본 포스팅은 standalone모드 4개를 구축하여 spark cluster를 만드는 것이 아닌, 구축된 hadoop cluster의 yarn위에 spark을 올리는 spark on yarn(cluster mode,master(yarn))입니다. 아직 hadoop cluster 구축이 안되신 분은 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/266 [BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 1. 4개의 가상 노드 띄우기 이번 포스트에는 하둡 fully-distributed mode 구축을 해보도록 하겠.. 2021. 11. 7.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)(4개 노드) 에 "Hive" 설치 및 실습 하기 저번 포스트까지는 하둡 클러스터를 구성해보았습니다. 이번 포스트에는 구성된 하둡 클러스터에 Hive를 설치해보겠습니다. 아직 hadoop cluster 구축이 안되신 분은 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/266 [BigData] Centos-7 fully distributed hadoop cluster 구성하기(하둡 클러스터) 1. 4개의 가상 노드 띄우기 이번 포스트에는 하둡 fully-distributed mode 구축을 해보도록 하겠습니다. 하둡 구성 스펙 호스트OS - windows10 home 게스트OS들 - centOS7 Hadoop - 3.1.0 Zookeeper - 3.4.10 jdk - 1.8.0_191 호스트OS는 공.. spidyweb... 2021. 10. 11.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 7. 하둡 설치, 배포, 환경설정, 실행하기 이번 포스트에는 hadoop 설치, 배포, 환경설정, 실행하기를 해보겠습니다. 아직 zookeeper 설치,환경설정,실행을 완료해보지 못했다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/271 [BigData] Centos-7 fully distributed hadoop cluster 구성하기(하둡 클러스터) 6. Zookeeper 설치, 환경설정, 실행 이번 포스트에는 zookeeper 를 설치하고, 환경설정하여 실행 해보겠습니다. 아직 zookeeper 및 hadoop 계정 생성과 권한 설정을 완료하지 못했다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/27 spidyweb.tistory.com 하둡 구성 스펙 호스트OS - .. 2021. 8. 12.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 6. Zookeeper 설치, 환경설정, 실행 이번 포스트에는 zookeeper 를 설치하고, 환경설정하여 실행 해보겠습니다. 아직 zookeeper 및 hadoop 계정 생성과 권한 설정을 완료하지 못했다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/270 [BigData] Centos-7 fully distributed hadoop cluster 구성하기(하둡 클러스터) 5. Zookeeper, hadoop 계정 생성 및 이번 포스트에는 Zookeeper, hadoop 계정을 생성 하고 권한 설정 및 SSH 통신 설정을 해보겠습니다. 아직 JAVA 설치 및 환경 설정을 하지 못했다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/269 spidyweb.tistory.com 하.. 2021. 8. 11.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 4. JAVA 설치 및 환경 설정 안녕하세요 이번 포스트에는 Java 설치 및 환경 설정을 해보도록 하겠습니다. 아직 SSH 설정 방화벽 및 SELINUX 설정을 완료 못하셨으면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/268 [BigData] Centos-7 fully distributed hadoop cluster(하둡 클러스터) 구성하기 3. SELINUX, 방화벽, SSH 설정하기 이번 포스트에는 SELINUX, 방화벽, SSH설정을 해보겠습니다. 아직 고정ip할당 및 hostname 변경을 하지 못하셨다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/267 [BigData] Centos-7 fully dist.. spidyweb.tistory.com 하둡.. 2021. 8. 11.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 3. SELINUX, 방화벽, SSH 설정하기 이번 포스트에는 SELINUX, 방화벽, SSH설정을 해보겠습니다. 아직 고정ip할당 및 hostname 변경을 하지 못하셨다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/267 [BigData] Centos-7 fully distributed hadoop cluster(하둡 클러스터) 구성하기 2. Hostname, 고정ip할당하기 이번 포스트에는 각 노드에 hostname 변경 및 고정 ip할당하도록 하겠습니다. 아직 4개의 노드를 띄우지 못하신 분은 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/266 [BigData] Centos-7 fully di.. spidyweb.tistory.com 하둡 구성 스펙 호스트OS - win.. 2021. 8. 9.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 2. Hostname, 고정ip할당하기 이번 포스트에는 각 노드에 hostname 변경 및 고정 ip할당하도록 하겠습니다. 아직 4개의 노드를 띄우지 못하신 분은 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/266 [BigData] Centos-7 fully distributed hadoop cluster 구성하기(하둡 클러스터) 1. 4개의 가상 노드 띄우기 이번 포스트에는 하둡 fully-distributed mode 구축을 해보도록 하겠습니다. 하둡 구성 스펙 호스트OS - windows10 home 게스트OS들 - centOS7 Hadoop - 3.1.0 Zookeeper - 3.4.10 jdk - 1.8.0_191 호스트OS는 공.. spidyweb.tistory.com 하둡 구성 스펙 호스트OS .. 2021. 8. 9.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 1. 4개의 가상 노드 띄우기 이번 포스트에는 하둡 fully-distributed mode 구축을 해보도록 하겠습니다. 하둡 구성 스펙 호스트OS - windows10 home 게스트OS들 - centOS7 Hadoop - 3.1.0 Zookeeper - 3.4.10 jdk - 1.8.0_191 호스트OS는 공유기(WI-FI) 연결 환경 서버 4대를 활용한 하둡 HA 구성: namenode1: 액티브 네임노드, 저널노드 역할 rmnode1: 스탠바이 네임노드, 리소스 매니저, 저널노드 역할, 데이터 노드 역할 datanode1: 저널노드 역할, 데이터 노드 역할 datanode2: 데이터 노드 역할 총 4개의 노드를 이용하여 HA(고가용성)구성을 한 하둡 클러스터를 구성 해보겠습니다. 1. VirtualBox Host Only Ne.. 2021. 8. 8.
728x90