본문 바로가기
728x90

kubernetes4

[Spark] YARN vs k8s vs mesos 스파크 리소스 및 작업 스케줄링 spark에서 사용할 수 있는, 정확히는 hadoop의 YARN대신에 사용 할 수 있는 리소스와 작업 스케줄링을 담당하는 컴포넌트에 대해서 비교 해보겠습니다. 1. 아키텍처 및 설계 목적항목YARNKubernetesMesos목적Hadoop 에코시스템 내에서 자원 관리를 위한 분산 리소스 관리컨테이너화된 애플리케이션의 배포, 확장 및 관리를 위한 오케스트레이션다양한 워크로드 (컨테이너, Spark, Hadoop 등)를 통합 관리하는 범용 리소스 관리주요 구성 요소ResourceManager, NodeManager, ApplicationMasterMaster(Node), Worker(Node), kubelet, kube-proxy, podMaster, Agent(Slave), Framework (Marath.. 2025. 1. 7.
[Airflow] KubernetesPodOperator 사용법 정리 1. KubernetesPodOperator란?Kubernetes 위에 정의한 자원과 빌드한 이미지를 Pod를 생성해 실행 시킬 수 있는 Airflow OperatorCeleryExecutor, KubernetesExecutor 모두 가능하다(kubernetes cluster만 있다면)2. Pod 설정 항목private image 저장소 URLetl_image_url = "이미지 저장소 URL"# task에 아래와 같이 사용image=etl_image_url, # task 내 image property에 private image repository url을 입력 image pull secretspod에 배포할 이미지를 가져올 때 secret 지정from kubernetes.client import mod.. 2024. 4. 27.
[Kubernetes] kubespray with ansible로 aws EC2에 kubernetes cluster 설치하기(ubuntu 18.04 LTS) EC2 서버 스펙 Master OS image: ubuntu 18.04 LTS Instance type: t2.medium( 2vCPU, 4GiB Mem) volume: 20GiB root volume port : 22(ssh),6443(API),2380,2370(etcd) kubernetes 실행에 필요한 필수 포트(SG group 설정,중요★) https://kubernetes.io/ko/docs/reference/ports-and-protocols/ 포트와 프로토콜 물리적 네트워크 방화벽이 있는 온프레미스 데이터 센터 또는 퍼블릭 클라우드의 가상 네트워크와 같이 네트워크 경계가 엄격한 환경에서 쿠버네티스를 실행할 때, 쿠버네티스 구성 요소에서 kubernetes.io +BGP peering을 위한 .. 2022. 10. 9.
[Kubernetes] MiniKube + docker ubuntu 20.04에 설치하기 이번 포스트에는 virtual box 에 ubuntu 20.04설치하고, docker, minikube를 설치해보겠습니다. virtual box로 ubuntu20.04 서버 구성이 안되신 분들은 아래의 포스트를 참조해주세요. 2021.04.26 - [BigData/Hadoop] - [Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기 [Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기 1.virtual box를 다운로드한다. www.virtualbox.org/wiki/Downloads Downloads – Oracle VM V.. 2022. 9. 23.
728x90

티스토리툴바