BigData/Spark & Spark Tuning

[spark] error 기록, spark write시 format에 따른 column name 형태

스파이디웹 2021. 11. 16. 10:26
728x90

spark write

csv format -> column에 space가 들어가도 허용O

parquet format -> column에 space가 들어가면 에러O


spark 문법 중 desc(column)이 있고 column.desc()가 있는데,

ubuntu에서 pyspark돌릴 때 desc(column)형태의 메소드가 안먹혀서 column.desc()로 바꾼 케이스가 있음.

728x90