본문 바로가기
728x90

Hadoop cluster6

[Hive] Hive on Hadoop cluster 실습 + yarn ui 확인하기 이번 포스트에는 fully distributed hadoop cluster에 HQL파일을 생성하여 job을 제출하는 실습을 해보겠습니다. 하둡 및 하이브를 설치하지 못하신 분은 아래의 링크를 참조해주세요. 2021.08.08 - [BigData] - [BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 1. 4개의 가상 노드 띄우기 [BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 1. 4개의 가상 노드 띄우기 이번 포스트에는 하둡 fully-distributed mode 구축을 해보도록 하겠습니다. 하둡 구성 스펙 호스트OS - windows10 home 게스트OS들 - centOS7 Hadoop - 3.1.0 Zookeep.. 2021. 11. 23.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)(4개 노드) 에 "Hive" 설치 및 실습 하기 저번 포스트까지는 하둡 클러스터를 구성해보았습니다. 이번 포스트에는 구성된 하둡 클러스터에 Hive를 설치해보겠습니다. 아직 hadoop cluster 구축이 안되신 분은 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/266 [BigData] Centos-7 fully distributed hadoop cluster 구성하기(하둡 클러스터) 1. 4개의 가상 노드 띄우기 이번 포스트에는 하둡 fully-distributed mode 구축을 해보도록 하겠습니다. 하둡 구성 스펙 호스트OS - windows10 home 게스트OS들 - centOS7 Hadoop - 3.1.0 Zookeeper - 3.4.10 jdk - 1.8.0_191 호스트OS는 공.. spidyweb... 2021. 10. 11.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 7. 하둡 설치, 배포, 환경설정, 실행하기 이번 포스트에는 hadoop 설치, 배포, 환경설정, 실행하기를 해보겠습니다. 아직 zookeeper 설치,환경설정,실행을 완료해보지 못했다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/271 [BigData] Centos-7 fully distributed hadoop cluster 구성하기(하둡 클러스터) 6. Zookeeper 설치, 환경설정, 실행 이번 포스트에는 zookeeper 를 설치하고, 환경설정하여 실행 해보겠습니다. 아직 zookeeper 및 hadoop 계정 생성과 권한 설정을 완료하지 못했다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/27 spidyweb.tistory.com 하둡 구성 스펙 호스트OS - .. 2021. 8. 12.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 6. Zookeeper 설치, 환경설정, 실행 이번 포스트에는 zookeeper 를 설치하고, 환경설정하여 실행 해보겠습니다. 아직 zookeeper 및 hadoop 계정 생성과 권한 설정을 완료하지 못했다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/270 [BigData] Centos-7 fully distributed hadoop cluster 구성하기(하둡 클러스터) 5. Zookeeper, hadoop 계정 생성 및 이번 포스트에는 Zookeeper, hadoop 계정을 생성 하고 권한 설정 및 SSH 통신 설정을 해보겠습니다. 아직 JAVA 설치 및 환경 설정을 하지 못했다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/269 spidyweb.tistory.com 하.. 2021. 8. 11.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 5. Zookeeper, hadoop 계정 생성 및 이번 포스트에는 Zookeeper, hadoop 계정을 생성 하고 권한 설정 및 SSH 통신 설정을 해보겠습니다. 아직 JAVA 설치 및 환경 설정을 하지 못했다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/269 [BigData] Centos-7 fully distributed hadoop cluster 구성하기(하둡 클러스터) 4. JAVA 설치 및 환경 설정 안녕하세요 이번 포스트에는 Java 설치 및 환경 설정을 해보도록 하겠습니다. 아직 SSH 설정 방화벽 및 SELINUX 설정을 완료 못하셨으면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/268 [BigData spidyweb.tistory.com 하둡 구성 스펙 호스트.. 2021. 8. 11.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 4. JAVA 설치 및 환경 설정 안녕하세요 이번 포스트에는 Java 설치 및 환경 설정을 해보도록 하겠습니다. 아직 SSH 설정 방화벽 및 SELINUX 설정을 완료 못하셨으면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/268 [BigData] Centos-7 fully distributed hadoop cluster(하둡 클러스터) 구성하기 3. SELINUX, 방화벽, SSH 설정하기 이번 포스트에는 SELINUX, 방화벽, SSH설정을 해보겠습니다. 아직 고정ip할당 및 hostname 변경을 하지 못하셨다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/267 [BigData] Centos-7 fully dist.. spidyweb.tistory.com 하둡.. 2021. 8. 11.
728x90