728x90
spark write
csv format -> column에 space가 들어가도 허용O
parquet format -> column에 space가 들어가면 에러O
spark 문법 중 desc(column)이 있고 column.desc()가 있는데,
ubuntu에서 pyspark돌릴 때 desc(column)형태의 메소드가 안먹혀서 column.desc()로 바꾼 케이스가 있음.
728x90
csv format -> column에 space가 들어가도 허용O
parquet format -> column에 space가 들어가면 에러O
spark 문법 중 desc(column)이 있고 column.desc()가 있는데,
ubuntu에서 pyspark돌릴 때 desc(column)형태의 메소드가 안먹혀서 column.desc()로 바꾼 케이스가 있음.
댓글