728x90 AWS EC2 instance1 HDFS 노드, EMR cluster 노드, Spark Application (process) 정리 1. HDFS name node -데이터 블럭들에 대한 메타 정보 data node -데이터 블럭을 읽고 쓴다. journal node -블럭들에 대한 이력을 관리한다. 2. EMR cluster EC2 node master node -YARN 역할 -HDFS name node 역할 core node -data node daemon 역할 -task tracker daemon 역할 -YARN nodemanager daemon 역할 -hadoop MR 작업 역할 -spark 실행기 역할 task node -hadoop MR 역할 -spark 실행기 역할 -데이터에 대한 병렬 계산 작업 역할 3. Spark Application (process) Spark Application = driver process .. 2021. 8. 19. 이전 1 다음 728x90