[EMR,hadoop] EMR instance의 실제 CPU, Core, vCore, memory 확인 및 yarn과 비교

이번 포스트에는 emr을 띄워 node의 cpu,Core,vCore,memory 확인을 하고 이게 yarn에는 어떻게 적용되는지 확인하겠습니다.

 

EMR 구성

core 2, vCore 4, 16 GiB m5.xlarge instance로 master,core,task node구성

---

EMR master node에 접속하여 실제 CPU,Core,vCore, memory 확인하기

emr master node에 ssh 접속이 궁금하신분은 아래의 링크를 참조

https://spidyweb.tistory.com/313?category=771995 

[AWS] EMR-6.2.0 config with ssh tunneling(yarn UI 확인)

 

CPU:1 실제 core: 2 vCore: 4

실제 memory 16GB 사용가능

---

Yarn에서 각 node별 vCore와 memory할당량 확인하기

yarn에서 할당한 vCore 노드당 4개씩 12cores, memory는 (16GB 의 80프로 격인 12GB x 3 해서 36 GB)사용가능

---

yarn-site.xml 의 configuration로 맞게 할당되었는지 확인

• yarn.nodemanager.resource.cpu-vcores = 4
• yarn.scheduler.maxium-allcation-mb = 12288(약 12GB)