728x90 logical query plan1 [Spark] Spark 실행 과정 by Catalyst Optimizer, Query plan 보는 법, Spark UI 보는 법 Query Plan을 보기에 앞서 Spark 코드의 실행 과정을 알아 보겠습니다. 1. Spark 실행 계획 논리적 실행 단계(logical plan) 사용자의 코드를 논리적 실행 계획으로 변환 논리적 실행 계획 단계에서는 추상적 transformation만 표현하고, driver나 executor의 정보를 고려하지 않음 이 논리적 실행 계획으로 변환 시키는 데에는 여러 단계가 있는데, 1) unresolved logical plan(검증 전 논리적 실행 계획) 코드의 유효성과 테이블이나 컬럼의 존재 여부만을 판단하는 과정, 실행 계획은 검증되지 않은 상태 spark analyzer는 컬럼과 테이블을 검증하기 위해 Catalog, 모든 테이블의 저장소 그리고 Dataframe 정보를 활용 필요한 테이블이.. 2022. 1. 12. 이전 1 다음 728x90
