[EMR,hadoop] EMR instance의 실제 CPU, Core, vCore, memory 확인 및 yarn과 비교
이번 포스트에는 emr을 띄워 node의 cpu,Core,vCore,memory 확인을 하고 이게 yarn에는 어떻게 적용되는지 확인하겠습니다. EMR 구성 core 2, vCore 4, 16 GiB m5.xlarge instance로 master,core,task node구성 EMR master node에 접속하여 실제 CPU,Core,vCore, memory 확인하기 emr master node에 ssh 접속이 궁금하신분은 아래의 링크를 참조 https://spidyweb.tistory.com/313?category=771995 [AWS] EMR-6.2.0 config with ssh tunneling(yarn UI 확인) 이번 포스트에는 EMR-6.2.0 버전을 Hadoop, Hive, Zookee..
2021. 12. 17.
[AWS] EC2 의 vCPU, vCore, core당 스레드(논리 프로세서), yarn에서 vcore할당 비교
AWS EMR을 구성하는 EC2 한개의 스펙 vCPU: 코어 x 코어당 스레드, 논리프로세서라고도 불리며, 하나의 스레드 코어: 물리적인 CPU당 들어 있는 코어 개수 코어당 스레드: 1 or 2, 하이퍼 스레딩을 지원하는지 안하는지 차이에 따라 지원하면 2 YARN의 vCores 및 Memory master를 제외한 core노드, task노드의 코어수, 메모리 노드 수 코어 메모리 core 노드 1 8 vCore 32 GIB task 노드 6 64 vCore 256 GIB 노드 수 코어 메모리 yarn node 7 392(8+64x6) 1.48TB(32+256x6 - 시스템 메모리) 결론: EC2인스턴스에 설정된 vCore 수 합산,메모리 용량 합산이 yarn의 vCore, memory 용량을 결정하게..
2021. 12. 10.
[AWS] EC2(Elastic Compute cloud)란? EC2만드는 방법
EC2 인스턴스 타입 1.choose AMI(Amazon Machine Image) Amazon linux Ubuntu server suse linux Red Hat Windows 2.choose an Instance type #group t m(같은 가격이라 쳤을 때 memory적으로 우수한 인스턴스) c(같은 가격이라 쳤을 때 cpu적으로 우수한 인스턴스) g(같은 가격이라 쳤을 때 gpu적으로 우수한 인스턴스) #type ex) nano micro small medium large xlarge 2xlarge 4x,8x,9x,12x,16x,18x,24x large metal #vCPUs(인스턴스의 가상 CPU 수) ex) 1,2,4,8,16,36,48,72,96 #메모리(GiB) 기가바이트단위 메모리..
2021. 2. 7.
클라우드 컴퓨팅과 AWS 이해
1. 클라우드 컴퓨팅 이해¶ 클라우드 컴퓨팅: 클라우드 서비스 플랫폼에서 컴퓨팅 파워, 데이터베이스, 응용프로그램 및 다양한 IT 자원을 필요에 따라 사용하는 시스템 서버, 데이터베이스, 저장 시스템, 다양한 응용프로그램 서비스를 제공 클라우드 컴퓨팅 시대 이전: 서비스 런칭 전, 서버 및 시스템 대규모 투자, 해당 서비스를 얼마나 고객이 사용할지를 사전에 예측해야 함 현재: 클라우드 상에 서비스를 런칭하고, 고객 반응을 보며 필요시 사용 자원 확대 이전: 자체 서버 구축 비용이 높음 현재: 클라우드 업체에서 규모의 경제를 실현하여, 구축 비용을 낮출 수 있음 이전: 얼마나 서비스를 사용할지 사전 예측, 서버 구입, 설치에 시간 소요 현재: 단 몇 분만에 사용 자원 확대 가능 이전: 자체 데이터 센터 관..
2020. 4. 17.
