본문 바로가기
728x90

null2

[Python] pandas vs pyspark 사용 및 코드 비교 이번 포스트에는 pyspark과 pandas를 쓰임새를 비교 해보고, pyspark의 코드를 pandas코드로 옮겨보고 비교해보겠습니다. 1. Pandas vs Pyspark 언제쓸까? pandas와 spark는 dataframe이라는 SQL 테이블 또는 Excel 스프레드 시트에서와 같이 이질적으로 유형이 지정된 열이있는 데이블 형식 데이터를 다루게 될 때 아주 적합함 대부분의 데이터처리에는 pandas 라이브러리를 통해 해결했었는데, pandas와 spark의 가장 큰 차이는 핸들링하는 데이터의 양의 크기 pandas는 통상적으로 spark보다 작은 데이터 처리에 대해서는 속도가 빠르다고 하는데, 10GB이상의 파일 처럼 파일의 크기가 커지게 되면, pandas는 메모리용량의 부족으로 인해 성능이 저.. 2022. 9. 22.
[SQL] NULL 과 NULL처리 함수,연산자 NULL이란 알려지지않은 값(unknown),정해지지 않은 값으로 공백과 0과는 다른 개념. ORACLE NULL처리함수 NVL(컬럼명,지정값) -입력한 컬럼명의 값이 null인 경우 지정값으로 대체 NVL2(컬럼명,지정값1,지정값2) -입력한 컬럼명의 값이 null이 아닌경우 지정값1로 대체, null인 경우 지정값2로 대체 ORACLE및 다른 모든 DBMS NULL처리 함수 COALESCE(expr1,expr2,expr3,…) -expr1이 NULL이 아니면 expr1값을, 그렇지 않으면 COALESCE(expr2,expr3,…)값을 반환. -주어진 인수에서 첫번째로 null이 아닌 값을 반환 ex1) COALESCE(empno,1) empno가 null이면 1 empno가 null이 아니면 empn.. 2021. 3. 4.
728x90