728x90 네트워크2 [Spark] EMR을 구성하는 instance는 큰 spec이 유리할까? 작은 spec이 유리할까? EMR을 구성할 때 작은 스펙의 많은 노드가 유리한지 큰 스펙의 적은 노드가 유리한지 비교하여 정리해보겠습니다. 1. 큰 스펙의 인스턴스를 적게 사용하는 경우장점네트워크 병목 감소인스턴스 수가 적어 노드 간 통신(예: Shuffle, Data Transfer) 비용이 줄어듦네트워크 I/O가 줄어들어 성능이 향상될 가능성이 높음작업 간 Overhead 감소인스턴스 수가 적으므로, 작업(Task) 배포와 조정에 소요되는 Overhead가 줄어듦클러스터 관리가 간단해지고 효율성이 높아짐CPU, 메모리 활용 효율성 증가단일 인스턴스에 많은 CPU와 메모리를 할당하므로, Spark 작업의 병렬 처리 능력이 향상됨메모리 내 연산이 가능할 확률이 높아지고 Disk Spill이 줄어듦기본적으로 사용되는 메모리 및 코어.. 2025. 1. 14. HTTP(Hyper Text Transfer Protocol),HTTPS(Hyper Text Transfer Protocol Secure)란? ●HTTP -인터넷에서 데이터를 주고 받을 수 있는 텍스트 기반의 프로토콜(통신 규약, 규칙) -규칙을 정해 두었기 때문에, 이 규칙에 맞춰 개발해서 서로 정보를 교환할 수 있게 된 것. -웹 개발을 함에 있어 굉장히 중요한 역할 - HTTP는 TCP/IP를 이용하는 응용 프로토콜이다. 따라서 신뢰성 있는 데이터 전송 프로토콜을 사용하기 때문에, 데이터가 전송 중 손상되거나 꼬이지 않음을 보장합니다. -HTTP는 연결 상태를 유지하지 않는 비연결성 프로토콜이다.(이러한 단점을 해결하기 위해 Cookie와 Session이 등장) -HTTP 통신이 전송 중 파괴되거나, 중복되거나, 왜곡되는 것을 걱정하지 않아도 되기 때문에 우리는 데이터가 통신 중 잘못되는 상황을 걱정하지 않고 기능 개발에 집중할 수 있습니.. 2020. 10. 6. 이전 1 다음 728x90
