728x90 큰 스펙1 [Spark] EMR을 구성하는 instance는 큰 spec이 유리할까? 작은 spec이 유리할까? EMR을 구성할 때 작은 스펙의 많은 노드가 유리한지 큰 스펙의 적은 노드가 유리한지 비교하여 정리해보겠습니다. 1. 큰 스펙의 인스턴스를 적게 사용하는 경우장점네트워크 병목 감소인스턴스 수가 적어 노드 간 통신(예: Shuffle, Data Transfer) 비용이 줄어듦네트워크 I/O가 줄어들어 성능이 향상될 가능성이 높음작업 간 Overhead 감소인스턴스 수가 적으므로, 작업(Task) 배포와 조정에 소요되는 Overhead가 줄어듦클러스터 관리가 간단해지고 효율성이 높아짐CPU, 메모리 활용 효율성 증가단일 인스턴스에 많은 CPU와 메모리를 할당하므로, Spark 작업의 병렬 처리 능력이 향상됨메모리 내 연산이 가능할 확률이 높아지고 Disk Spill이 줄어듦기본적으로 사용되는 메모리 및 코어.. 2025. 1. 14. 이전 1 다음 728x90