728x90 spark operation1 [Spark] RDD action & transformation + Dataframe의 연산(operation) 분류 Spark는 분산 환경에서 데이터를 다루는 데 필요한 지연 처리방식(lazy evaluation)의 transformation과 즉시 실행 방식의 action을 제공그리고 DataFrame과 Dataset의 transformation, action과 동일한 방식으로 동작한다.1. RDD transformationSpark Transformation는 기존의 RDD에서 새로운 RDD를 생성하는 functionLazy 처리방식(lazy evaluation)이라서 action을 호출할 때 transformation이 실제로 실행 → transformation을 수행할 때 query plan만 만들고 실제로 메모리에 올리지는 않는다. action이 호출될 때 transformation을 메모리에 올려서 수행하고.. 2021. 12. 29. 이전 1 다음 728x90
