본문 바로가기
728x90

map3

[Spark] issue 정리, java.lang.ExceptionInInitializerError 와 java.lang.IllegalStateException: SparkSession should only be created and accessed on the driver scala언어로 spark object를 만들고 jar로 빌드하여 EMR에 제출할 때 나온 에러를 정리하겠습니다.spark관련 정리는 오랜만이네요.1. 원인 파악분명 다른 object와 다른점 없고, jar파일 위치 이름, class 이름까지도 경로에 명시를 잘해 줬는데도 위 제목과 같은 에러가나와서 계속 헤메고 있던 때에 리서칭을 통해서 원인을 파악할 수 있었습니다.scala object에서 다음과 같은 에러가 나온 경우, 주로 Apache Spark에서 SparkSession이 드라이버 노드가 아닌 워커 노드에서 생성되거나 접근될 때 발생된다고 합니다.→ 이는 SparkSession이 조정 목적으로 드라이버에서 관리되어야 하는 싱글톤 객체이기 때문  java.lang.ExceptionInInitial.. 2024. 6. 22.
[Scala] 스칼라 배우기 7. 스칼라 기본 문법6(반복문, 정렬, 그룹핑, 필터링) 반복문 for to는 이하의 리스트를 생성하고, until은 미만의 시퀀스를 생성 // 0에서 3이하의 시퀀스 for (num "v5") for ((k, v) List(1, 2, 3), "B" -> List(4, 5, 6), "C" -> List(7, 8, 9)) maps.mapValues(_.sum).foreach({ case (k, v) => printf("key: %s, value: %s\n", k, v) }) // 결과 key: A, value: 6 key: B, value: 15 key: C, value: 24 정렬 sort 정렬은 sorted, sortWith, sortBy 세가지 메소드를 이용 // sorted 사용방법 val list = List( 4, 6, 1, 6, 0) val l_so.. 2023. 6. 11.
[Python] 콜백함수란? map함수란? CallBack function 함수의 인자로 사용되는 함수를 callback 함수라고 한다. MapReduce의 Map함수, 공백을 기준으로 입력을 받아 int타입으로 변환하는 Map함수 같은 기능을 나타내며 이렇게 map(function , iterable) 처럼 함수내에서 함수를 인자로써 사용되는 함수를 콜백 함수라고 함 map(function, iterable) 함수 function에는 사용자 정의 함수가 올 수 있고, 내장함수도 올 수 있으며, 람다식으로도 표현이 가능하다 list(map(lambda x:x**2, range(5))) A,B = map(int, input().split()) *iterable 객체란? list, dict, set, str, bytes, tuple, range 타입.. 2022. 1. 24.
728x90