[Hive] virtual box linux [ubuntu 18.04]에 Hive Metastore PostgreSQL로 설정하기(변경하기)

이번 포스트에는

저번에 설정한 Hive의 MetaStore Embedded MetaStore인 derbyDB(MySQL)에서

PostgreSQL로 각각 변경해보고 확인해보겠습니다.

 

vritualbox 설치,ubuntu설치, ssh통신, hadoop 설치가 완료 되지 않으신 분은 아래의 URL을 참고하여 완료해 주세요.

1.virtualbox 설치 및 ubuntu 설치

spidyweb.tistory.com/212?category=842040

[Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기

 

2.power shell과 ssh통신

spidyweb.tistory.com/213

[Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 2.ubuntu terminal과 SSH 통신

 

3.hadoop 설치

spidyweb.tistory.com/214

[Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 3.ubuntu 에 hadoop(하둡) 다운로드,설치

 

4.hive 설치

https://spidyweb.tistory.com/215

[Hive] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 4.ubuntu 에 Hive(하이브) 다운로드,

 

그리고 Hive의 metastore가 뭔지 잘 모르시는 분은 아래의 링크에서 개념을 보고 와주세요.

https://spidyweb.tistory.com/231

[Hive] Hive MetaStore(하이브 메타스토어)란? hive metastore 유형, metastore 파라미터

 

mysql,postgresql DB가 설치 되지 않으신 분은 아래의 링크를 참조해주세요

https://spidyweb.tistory.com/233?category=790761 

[Linux] ubuntu 18.04에 MySQL, PostgreSQL 설치하기

 

Hive metastore MySQL 로 변경하기

https://spidyweb.tistory.com/232

[Hive] virtual box linux [ubuntu 18.04]에 Hive Metastore Mysql로 설정하기(변경하기)

 

1.현재 MetaStoreDB 확인하기

apache-hive-3.1.2-bin 디렉토리로 들어가서 ->conf -> nano hive-site.xml로 하이브 configuration 조정파일을 편집합니다.

 

저번에와 마찬가지로 ctrl+w로 javx.jdo.option.ConnectionURL 입력,  metastore 설정란에 찾아갑니다.

현재 metastore의 DB는 mysql로 설정된 것을 알 수 있습니다.

 

2. PostgreSQL JDBC다운로드 및 $HIVE_HOME/lib에 업로드

https://jdbc.postgresql.org/download.html

PostgreSQL JDBC Download

 

1) java가 8버전 이거나 그 보다 최신의 버전이기 때문에, 위의 사이트에서 밑줄친 부분의 드라이버를 오른쪽클릭 -> 링크 주소 복사

 

2) wget https://jdbc.postgresql.org/download/postgresql-42.2.23.jar

3) postgresql jdbc $HIVE_HOME/lib 으로 옮기기

mv postgresql-42.2.23.jar $HIVE_HOME/lib

 

4) $HIVE_HOME/lib에 가서 확인해봅니다(/home/hdoop/apache-hive-3.1.2-bin/lib)

3. PostgreSQL metastore_db 생성

1)  sudo -i -u postgres -> psql

 

2)

CREATE USER postgres with password 'postgres'; -생성이 되어 있다면 불필요합니다.

CREATE DATABASE metastore_db owner=postgres;

CREATE SCHEMA authorization postgres;

\l (알파벳 엘) -생성된 데이터베이스 정보확인

4. hdoop 계정으로 hive-site.xml 파라미터 조정

1) javax.jdo.option.ConnectionURL

jdbc:postgresql://localhost:5432/metastore_db

2) javax.jdo.option.ConnectionDriverName

org.postgresql.Driver

3) javax.jdo.option.ConnectionUserName

postgres

4) javax.jdo.option.ConnectionPassword

postgres

*혹시 postgres유저의 비밀번호가 설정되어 있지않다면 psql환경에서 alter user postgres with password 'postgres'; 으로 비밀번호 설정

 

5. 메타스토어 스키마 초기화 및 PostgreSQL로 설정된 것 확인하기

1) start-all.sh 로 하둡환경 실행

2) schematool -initSchema -dbType postgres로 스키마 초기화

 

3) Hive 접속 및 데이터베이스 확인

잘 설정 된 것을 확인 할 수 있습니다.

 

이것으로 hive metastore postgresql DB로 설정하기를 마치겠습니다.