728x90 CDC2 [Kafka] Kafka와 Debezium 그리고 CDC구현 정리 이번 포스트에는 kafka와 Debezium 그리고 CDC구현에 대해서 정리해보겠습니다.1. Debezium이란?database에서 발생하는 변경사항을 추적할 수 있는 일종의 Apache Kafka Connect의 source connector성공적으로 commit이 발생한 데이터에 대해서만 변경사항이 전파되기 때문에 실패한 트랜잭션은 고려할 필요가 없음Debezium은 변경사항을 디스크에 저장하기 때문에 데이터의 변경사항을 전달받아야 하는 애플리케이션이 다운되더라도 문제가 없음Debezium은 애플리케이션이 여러 DBMS와 호환이 될 수 있도록 middleware 역할을 함 Kafka와 Kafka Connect를 활용함으로써 durability, reliability, fault tolerance을 보.. 2025. 6. 15. [IT용어] (데이터 이관) CDC(Change Data Capture), ETL(Extract Transform Load), ODS(Operational Data store) # CDC 실시간으로 원천 데이터의 변경 사항을 감지하여 이관하는작업이 CDC(Change Data Capture)이다. 다양한 방법으로 캡쳐를 진행하나, 로그를 읽어 변경을 반영하는 방법과 통신을 통한 변경이 주로쓰인다. 현업에서 CDC란 용어는 실시간데이터가 반영된 EDW 그 자체를 칭하기도 한다. # ETL 그리고 데이터를 이관하기위해 추출, 변환, 적재라는 일련의 과정을 거치는데 이를 ETL이라고 한다. ETL 도구로는 SSIS(MS-SQL), ODI(Oracle), ESF 등이 있다. # ODS 현재는 ODS가 staging과 같은의미로 1차적인 데이터 수집공간(temporary)으로 표현되곤한다. EDW로 이관을 위한 중간단계 데이터로, 원천데이터의 복사본으로 사용한다. #Snap Shot D.. 2021. 5. 15. 이전 1 다음 728x90
