728x90 운영 환경1 [Spark] Spark Streaming 운영 환경에서의 Structured Streaming 이번 포스트에는 spark streaming을 운영할 때 중요한 포인트를 정리 해보겠습니다.1. 내고장성과 체크포인팅structured streaming application은 단순히 재시작만으로 장애 상황을 극복스파크 엔진이 자동으로 관리하는 체크포인트와 WAL을 사용하도록 설정해야 함장애 상황이 발생하면 단순히 application을 다시 시작하여 중간 상탯값을 저장한 체크 포인트 경로를 참조하도록 설정, 이전 상태를 복구하고 중단된 데이터를 처리함체크포인트 디렉터리나 디렉터리의 파일이 제거된 경우 장애 상황에서 애플리케이션을 정상적으로 실행할 수 없고, 처음부터 다시 스트림 해야 함val static = spark.read.json("/data/activity-data")val streaming =.. 2025. 2. 10. 이전 1 다음 728x90