728x90 kafka3 [Spark] Spark Streaming, Structured Streaming 기초 정리 이번 포스트에는 spark streaming 고수준 API인 structured streaming에 대해서 정리해보겠습니다. 1. Structured Streaming 개요 및 특징Structured streaming은 spark SQL 엔진 기반의 스트림 처리 프레임워크(spark의 structured API인 Dataframe, Dataset 그리고 SQL를 사용함)스트리밍 연산은 배치 연산과 동일하게 표현함, 사용자가 스트림 처리용 코드와 목적지를 정의하면 structured streaming 엔진에서 신규 데이터에 대한 증분 및 연속형 쿼리를 실행하고, 코드 생성, 쿼리 최적화 등의 기능을 지원하는 카탈리스트 엔진을 사용해 연산에 대한 논리적 명령을 처리함종합적이며, 정확히 한 번 처리 방식(ex.. 2025. 2. 6. [Kafka] ubuntu 20.04 lts 위의 docker-compose로 kafka + zookeeper + CMAK 구성하기 이번 포스트에는 개발할 때 사용하기 위해 도커 컴포즈로 빠르고 간단하게 kafka broker와 CMAK() zookeeper를 컨테이너로 띄워보도록 하겠습니다. 1. EC2 생성 t2.medium 스펙(2vCore, 4GB mem)으로 ubuntu 20.04 lts 를 생성합니다. 편하게 접근하기위해 public ip도 부여받습니다.(테스트용) 2. docker 설치 + docker-compose 설치 1) docker 설치 // apt 인덱스 업데이트 $ sudo apt-get update // repository over HTTPS를 사용하기 위한 패키지 설치 $ sudo apt-get install -y apt-transport-https ca-certificates curl gnupg-agent.. 2024. 3. 5. [Network] 동기 vs 비동기 통신 (Ajax, kafka) 정리 Ajax와 kafka 등 비동기 통신(처리)한다는 용어가 헷갈려 이 기회에 정리해보려고 합니다. 1. 동기 vs 비동기 처음에는 사실 그림을 봐도 크게 와닿지는 않았습니다. 1) 동기(synchronous) 방식 요청과 결과가 동시에 일어나는 방식으로 요청을 보낸 후 응답을 받아야 다음 동작이 진행 됨 요청과 결과가 한 자리에 동시에 나타나는 것으로 사용자가 서버로 요청을 보냈을 경우 요청에 대한 응답을 리턴받기 전까지는 다른 것을 하지 못하고 기다려야 함 장점 : 설계가 간단하고, 직관적 단점 : 요청에 대한 결과가 반환되기 전까지 대기해야 함 2) 비동기(Asynchronous) 방식 요청과 결과가 동시에 일어나지 않는 방식으로 요청과 결과가 동시에 일어나지 않음 동시에 여러 요청을 보낼 수 있음(응.. 2023. 11. 6. 이전 1 다음 728x90
