[AWS] EC2 의 vCPU, vCore, core당 스레드(논리 프로세서), yarn에서 vcore할당 비교

AWS EMR을 구성하는 EC2 한개의 스펙

vCPU: 코어 x 코어당 스레드, 논리프로세서라고도 불리며, 하나의 스레드

코어: 물리적인 CPU당 들어 있는 코어 개수

코어당 스레드: 1 or 2, 하이퍼 스레딩을 지원하는지 안하는지 차이에 따라 지원하면 2

---

YARN의 vCores 및 Memory

master를 제외한 core노드, task노드의 코어수, 메모리

	노드 수	코어	메모리
core 노드	1	8 vCore	32 GIB
task 노드	6	64 vCore	256 GIB

	노드 수	코어	메모리
yarn node	7	392(8+64x6)	1.48TB(32+256x6 - 시스템 메모리)

결론:

EC2인스턴스에 설정된 vCore 수 합산,메모리 용량 합산이 yarn의 vCore, memory 용량을 결정하게 된다.

memory는 시스템에 필요한 memory를 제외한 메모리로 설정된다.(약 90프로~)

 

*yarn에 따로 지정해주지 않으면, default  vCore는 8코어 memory는 1GB이다