BigData/Spark & Spark Tuning
[spark] error 기록, spark write시 format에 따른 column name 형태
스파이디웹
2021. 11. 16. 10:26
728x90
spark write
csv format -> column에 space가 들어가도 허용O
parquet format -> column에 space가 들어가면 에러O
spark 문법 중 desc(column)이 있고 column.desc()가 있는데,
ubuntu에서 pyspark돌릴 때 desc(column)형태의 메소드가 안먹혀서 column.desc()로 바꾼 케이스가 있음.
728x90