728x90 physical query plan1 [Spark] Spark 실행 과정 by Catalyst Optimizer, Query plan 보는 법, Spark UI 보는 법 Query Plan을 보기에 앞서 Catalyst Optimzer에 대해 알아보고 Spark 코드의 실행 과정을 알아 보겠습니다. Catalyst Optimzer란?Spark SQL에서 쿼리 성능을 최적화하는 핵심 컴포넌트트리 기반의 강력한 쿼리 최적화 프레임워크로, 분석 및 실행 계획을 자동으로 최적화하여 Spark SQL, DataFrame, Dataset API의 성능을 극대화카탈리스트를 구성하는 주요 데이터 타입은 node object로 구성된 treeNode 타입의 속성TreeNode 클래스를 상속 받음0개 이상의 자식을 가질 수 있음immutabletansformation 함수를 통해 만들어짐 Rules새로운 Tree는 Tree를 다른 Tree로 변경(transformation)하는 Rule을.. 2022. 1. 12. 이전 1 다음 728x90
