[Trouble shooting] CSV파일 MariaDB에 적재시키기

업무를 하다보니 HTML태그가 포함된 엄청난 길이의 HTML태그가 포함된 값과 여러 텍스트값들을 RDS Mariadb로 적재해달라는 요청이 있었습니다.

 

사실 MongoDB같은 NoSQL로 적재시키면 간단할거라 생각은 되었지만, 쿼리적으로 편하게 쓰고 싶다하셔서 MariaDB로의 이전을 부탁을 하셨습니다.

 

여기서 여러 에러를 만났는데, 생긴 이슈와 해결방법에 대해 정리해보겠습니다.

---

[데이터 길이 이슈]

이정도면 되겠지?

문제	해결
테이블의 각 컬럼 크기를 너무 크게 잡지 않기위해 최적의 길이로 varchar를 설정하려다보니, import과정에서 데이터 길이가 크다는 에러를 많이 만남	대부분은 varchar를 조금씩 늘려가며 테스트했지만, HTML태그가 들어간 정말 텍스트성으로 보이는 컬럼은 데이터타입을 text로 설정

 

[데이터 툴 이슈]

문제	해결
1) 데이터 길이를 모든컬럼이 전부 만족하는데, dbeaver를 통해 csv를 적재 시 'can't parse numeric value [데이터값] using formatter'라는 에러를 냄 2) datagrip으로 실행 시 몇 개 소수의 데이터가 import가 안돼서 확인해보니 ,(쉼표)바로 뒤에 '내용' 처럼 '로 감싸진 데이터가 공통적으로 있었음	1) 엄청나게 많은 서칭을 했지만, dbeaver의 툴 버그라는 얘기가 있어서, datagrip을 사용하여 import해보니 성공함 2) 해당 데이터들을 모두 " 로 감싸주어서 해결

 

정말 알 수 없는 에러들을 많이 만나는 것 같습니다.ㅠㅠ

비싼 툴이 더 좋아보이는것도 맞는 것 같고, 상황에 맞게 RDB를 써야될 지 NoSQL을 써야될지 잘 판단하는것도 필요하다 생각합니다.