본문 바로가기
728x90

BigData/Hadoop12

[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 7. 하둡 설치, 배포, 환경설정, 실행하기 이번 포스트에는 hadoop 설치, 배포, 환경설정, 실행하기를 해보겠습니다. 아직 zookeeper 설치,환경설정,실행을 완료해보지 못했다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/271 [BigData] Centos-7 fully distributed hadoop cluster 구성하기(하둡 클러스터) 6. Zookeeper 설치, 환경설정, 실행 이번 포스트에는 zookeeper 를 설치하고, 환경설정하여 실행 해보겠습니다. 아직 zookeeper 및 hadoop 계정 생성과 권한 설정을 완료하지 못했다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/27 spidyweb.tistory.com 하둡 구성 스펙 호스트OS - .. 2021. 8. 12.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 6. Zookeeper 설치, 환경설정, 실행 이번 포스트에는 zookeeper 를 설치하고, 환경설정하여 실행 해보겠습니다. 아직 zookeeper 및 hadoop 계정 생성과 권한 설정을 완료하지 못했다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/270 [BigData] Centos-7 fully distributed hadoop cluster 구성하기(하둡 클러스터) 5. Zookeeper, hadoop 계정 생성 및 이번 포스트에는 Zookeeper, hadoop 계정을 생성 하고 권한 설정 및 SSH 통신 설정을 해보겠습니다. 아직 JAVA 설치 및 환경 설정을 하지 못했다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/269 spidyweb.tistory.com 하.. 2021. 8. 11.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 5. Zookeeper, hadoop 계정 생성 및 이번 포스트에는 Zookeeper, hadoop 계정을 생성 하고 권한 설정 및 SSH 통신 설정을 해보겠습니다. 아직 JAVA 설치 및 환경 설정을 하지 못했다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/269 [BigData] Centos-7 fully distributed hadoop cluster 구성하기(하둡 클러스터) 4. JAVA 설치 및 환경 설정 안녕하세요 이번 포스트에는 Java 설치 및 환경 설정을 해보도록 하겠습니다. 아직 SSH 설정 방화벽 및 SELINUX 설정을 완료 못하셨으면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/268 [BigData spidyweb.tistory.com 하둡 구성 스펙 호스트.. 2021. 8. 11.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 4. JAVA 설치 및 환경 설정 안녕하세요 이번 포스트에는 Java 설치 및 환경 설정을 해보도록 하겠습니다. 아직 SSH 설정 방화벽 및 SELINUX 설정을 완료 못하셨으면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/268 [BigData] Centos-7 fully distributed hadoop cluster(하둡 클러스터) 구성하기 3. SELINUX, 방화벽, SSH 설정하기 이번 포스트에는 SELINUX, 방화벽, SSH설정을 해보겠습니다. 아직 고정ip할당 및 hostname 변경을 하지 못하셨다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/267 [BigData] Centos-7 fully dist.. spidyweb.tistory.com 하둡.. 2021. 8. 11.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 3. SELINUX, 방화벽, SSH 설정하기 이번 포스트에는 SELINUX, 방화벽, SSH설정을 해보겠습니다. 아직 고정ip할당 및 hostname 변경을 하지 못하셨다면 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/267 [BigData] Centos-7 fully distributed hadoop cluster(하둡 클러스터) 구성하기 2. Hostname, 고정ip할당하기 이번 포스트에는 각 노드에 hostname 변경 및 고정 ip할당하도록 하겠습니다. 아직 4개의 노드를 띄우지 못하신 분은 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/266 [BigData] Centos-7 fully di.. spidyweb.tistory.com 하둡 구성 스펙 호스트OS - win.. 2021. 8. 9.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 2. Hostname, 고정ip할당하기 이번 포스트에는 각 노드에 hostname 변경 및 고정 ip할당하도록 하겠습니다. 아직 4개의 노드를 띄우지 못하신 분은 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/266 [BigData] Centos-7 fully distributed hadoop cluster 구성하기(하둡 클러스터) 1. 4개의 가상 노드 띄우기 이번 포스트에는 하둡 fully-distributed mode 구축을 해보도록 하겠습니다. 하둡 구성 스펙 호스트OS - windows10 home 게스트OS들 - centOS7 Hadoop - 3.1.0 Zookeeper - 3.4.10 jdk - 1.8.0_191 호스트OS는 공.. spidyweb.tistory.com 하둡 구성 스펙 호스트OS .. 2021. 8. 9.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 1. 4개의 가상 노드 띄우기 이번 포스트에는 하둡 fully-distributed mode 구축을 해보도록 하겠습니다. 하둡 구성 스펙 호스트OS - windows10 home 게스트OS들 - centOS7 Hadoop - 3.1.0 Zookeeper - 3.4.10 jdk - 1.8.0_191 호스트OS는 공유기(WI-FI) 연결 환경 서버 4대를 활용한 하둡 HA 구성: namenode1: 액티브 네임노드, 저널노드 역할 rmnode1: 스탠바이 네임노드, 리소스 매니저, 저널노드 역할, 데이터 노드 역할 datanode1: 저널노드 역할, 데이터 노드 역할 datanode2: 데이터 노드 역할 총 4개의 노드를 이용하여 HA(고가용성)구성을 한 하둡 클러스터를 구성 해보겠습니다. 1. VirtualBox Host Only Ne.. 2021. 8. 8.
[Hadoop] 하둡이란? 하둡 에코시스템이란? hadoop, hadoop eco-system 개념 1.Hadoop 이란? -하둡은 분산 데이터 처리의 공통 플랫폼입니다. -하둡을 3가지로 나눈다면 1) 데이터 저장의 분산 파일 시스템(Distributed file system) HDFS 2) 데이터 처리의 분산 데이터 처리(Distributed data processing) MapReduce(MR) 3) 자원 관리의 YARN(hadoop ver 2.0에 발표) -YARN의 역할 1) CPU나 메모리 등의 계산 리소스는 리소스 매니저인 YARN에 의해 관리 2) YARN은 애플리케이션이 사용하는 CPU 코어와 메모리를 '컨테이너라 불리는 단위로 관리) 3) Hadoop에서 분산 애플리케이션을 실행하면 YARN이 클러스터 전체의 부하를 보고 비어 있는 호스트부터 컨테이너를 할당 -MapReduce란 1).. 2021. 7. 12.
[Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 3.ubuntu 에 hadoop(하둡) 다운로드,설치 이번 포스트에는 virtualbox에 하둡을 설치하겠습니다. virtualbox에 ubuntu를 설치하지 못하신 분이나, windows의 powershell로 ssh통신을 할 줄 모르시는 분이면 아래URL의 포스트부터 선행하여 주세요! spidyweb.tistory.com/212 vitual box와 ubuntu 설치하기 [Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기 1.virtual box를 다운로드한다. www.virtualbox.org/wiki/Downloads Downloads – Oracle VM VirtualBox Download VirtualBox Here you will find links to.. 2021. 5. 2.
728x90

티스토리툴바