[AWS] EC2 의 vCPU, vCore, core당 스레드(논리 프로세서), yarn에서 vcore할당 비교
AWS EMR을 구성하는 EC2 한개의 스펙 vCPU: 코어 x 코어당 스레드, 논리프로세서라고도 불리며, 하나의 스레드 코어: 물리적인 CPU당 들어 있는 코어 개수 코어당 스레드: 1 or 2, 하이퍼 스레딩을 지원하는지 안하는지 차이에 따라 지원하면 2 YARN의 vCores 및 Memory master를 제외한 core노드, task노드의 코어수, 메모리 노드 수 코어 메모리 core 노드 1 8 vCore 32 GIB task 노드 6 64 vCore 256 GIB 노드 수 코어 메모리 yarn node 7 392(8+64x6) 1.48TB(32+256x6 - 시스템 메모리) 결론: EC2인스턴스에 설정된 vCore 수 합산,메모리 용량 합산이 yarn의 vCore, memory 용량을 결정하게..
2021. 12. 10.
[AWS] EC2(Elastic Compute cloud)란? EC2만드는 방법
EC2 인스턴스 타입 1.choose AMI(Amazon Machine Image) Amazon linux Ubuntu server suse linux Red Hat Windows 2.choose an Instance type #group t m(같은 가격이라 쳤을 때 memory적으로 우수한 인스턴스) c(같은 가격이라 쳤을 때 cpu적으로 우수한 인스턴스) g(같은 가격이라 쳤을 때 gpu적으로 우수한 인스턴스) #type ex) nano micro small medium large xlarge 2xlarge 4x,8x,9x,12x,16x,18x,24x large metal #vCPUs(인스턴스의 가상 CPU 수) ex) 1,2,4,8,16,36,48,72,96 #메모리(GiB) 기가바이트단위 메모리..
2021. 2. 7.
클라우드 컴퓨팅과 AWS 이해
1. 클라우드 컴퓨팅 이해¶ 클라우드 컴퓨팅: 클라우드 서비스 플랫폼에서 컴퓨팅 파워, 데이터베이스, 응용프로그램 및 다양한 IT 자원을 필요에 따라 사용하는 시스템 서버, 데이터베이스, 저장 시스템, 다양한 응용프로그램 서비스를 제공 클라우드 컴퓨팅 시대 이전: 서비스 런칭 전, 서버 및 시스템 대규모 투자, 해당 서비스를 얼마나 고객이 사용할지를 사전에 예측해야 함 현재: 클라우드 상에 서비스를 런칭하고, 고객 반응을 보며 필요시 사용 자원 확대 이전: 자체 서버 구축 비용이 높음 현재: 클라우드 업체에서 규모의 경제를 실현하여, 구축 비용을 낮출 수 있음 이전: 얼마나 서비스를 사용할지 사전 예측, 서버 구입, 설치에 시간 소요 현재: 단 몇 분만에 사용 자원 확대 가능 이전: 자체 데이터 센터 관..
2020. 4. 17.