728x90 상태 기반 처리1 [Spark] Spark Streaming 이벤트 시간과 상태 기반 처리 정리 스트리밍 데이터를 다룰 때 꼭 필요한 개념인 이벤트 시간 처리와 상태 기반 처리에 대해서 정리하겠습니다. 1. 이벤트 시간 처리DStream API는 이벤트 시간과 관련된 처리 정보를 제공하지 않음이벤트 시간:이벤트 시간은 데이터에 기록되어 있는 시간대부분의 경우 이벤트가 실제로 일어난 시간을 의미이벤트를 다른 이벤트와 비교하는 더 강력한 방법을 제공하기 때문에 사용해야 함이때 지연되거나 무작위로 도착하는 이벤트를 해결해야 한다는 문제점이 있음스트림 처리 시스템은 지연되거나 무작위로 도착한 데이터를 반드시 제어할 수 있어야 함처리 시간:처리 시간은 스트림 처리 시스템이 데이터를 실제로 수신한 시간세부 구현과 관련된 내용이므로 이벤트 시간보다 덜 중요이벤트 시간처럼 외부 시스템에서 제공하는 것이 아니라 스.. 2025. 2. 10. 이전 1 다음 728x90