[IT용어] (데이터 이관) CDC(Change Data Capture), ETL(Extract Transform Load), ODS(Operational Data store)

# CDC

실시간으로 원천 데이터의 변경 사항을 감지하여 이관하는작업이 CDC(Change Data Capture)이다.

다양한 방법으로 캡쳐를 진행하나, 로그를 읽어 변경을 반영하는 방법과 통신을 통한 변경이 주로쓰인다.

현업에서 CDC란 용어는 실시간데이터가 반영된 EDW 그 자체를 칭하기도 한다.

 

 

# ETL

그리고 데이터를 이관하기위해 추출, 변환, 적재라는 일련의 과정을 거치는데 이를 ETL이라고 한다. 

ETL 도구로는 SSIS(MS-SQL), ODI(Oracle), ESF 등이 있다.

 

# ODS

현재는 ODS가 staging과 같은의미로 1차적인 데이터 수집공간(temporary)으로 표현되곤한다.

EDW로 이관을 위한 중간단계 데이터로, 원천데이터의 복사본으로 사용한다.

 

 

#Snap Shot Data

특정 시간에 데이터 저장 장치의 상태를별도의 파일이나 이미지로 저장하는 기술로, 스냅샷 기능을 이용하여 데이터를 저장하면 유실된 데이터 복원과 일정 시점의 상태로 데이터를 복원할 수 있다.

출처:

https://bangu4.tistory.com/65?category=893895