728x90 PostgreSQL7 [Airflow] Metastore version, RDBMS 종류에 따른 차이 정리 최근에 Airflow Metastore에 있는 데이터 이관을 하면서 Metastore 이관 관점에서 Metastore에 관련된 테이블, 컬럼 정보들을 정리해봤습니다.1. Airflow version별 metastore의 구성 차이2.1.3(PostgreSQL)1) 테이블 수28개 테이블ab_permissionab_permission_viewab_permission_view_roleab_register_userab_userab_user_roleab_view_menualemberic_versionconnectiondagdag_codedag_pickledag_rundag_tagimport_errorjoblogrendered_task_instance_fieldssens.. 2024. 4. 27. [DataBase] RDBMS 이관 PostgreSQL to MySQL, 여러가지 방법과 에러 정리 이번 포스트에는 회사업무중에 필요에의해 기존에 있던 PostgreSQL DB를 MySQL로 이관시켜야 하는 요구사항이 있었습니다. 보통 PostgreSQL이 더 관대한 RDBMS로써 이기종 DBMS간 이관을 할 때, 찾아보니 MySQL → PostgreSQL은 많이 사례가 있고 자료가 있었지만, 우리의 경우 반대의 경우 였기 때문에 많은 리서칭이 필요했습니다. 이관 대상 대상 구분 대상 여부 스키마(Schemas) Y(MySQL에서는 Databases) 테이블(Tables) Y 제약사항(Constraints) Y Index Y Sequence Y(Auto Increments) User / Role - 이관 방법 1. PostgreSQL dump file https://www.postgresql.org/d.. 2023. 9. 29. [AWS] RDS(Relational Database Service) vs AuroraDB (feat. MySQL, PostgreSQL) 1. RDS(Relational Database Service)란? 1) 정의 클라우드에서 배포,설치,패치,백업을 쉽게만드는 관계형 DB를 관리된 SQL DB로 서비스한다.(아마존 클라우드에서 관계형 데이터베이스를 사용할 수 있는 서비스)Aurora, MySQL,PostgreSQL,MariaDB,Microsoft SQL Server 그리고 Oracle DB 엔진을 지원한다. (Aurora가 포함되는 개념) 2) 특징 RDS 구축 형태 기존 데이터베이스 아키텍처를 중심으로 완전히 관리되는 추상화 계층을 제공 RDS 내에서 데이터베이스 플랫폼은 EC2에서 수동으로 수행하는 것처럼 구축 EC2인스턴스는 적절한 Amazon Machine Image (AMI)에서 프로비저닝 되고, EBS(Elastic Block.. 2022. 12. 28. [Database] Upsert란? DBMS 별 Upsert 예제 1. Upsert(Update + Insert)란? Upsert는 중복되는 값이 있다면 Update를 하고 중복되는 값이 없다면 Insert를 하는 쿼리 Unique Key의 값이 중복된다면 Update를 하고, Unique 컬럼의 값이 존재하지 않는다면 INSERT를 하는 것 Unique Key, 즉 중복되면 값이 있으면 안되는 컬럼에 추가하려는 데이터 값이 중복되지 않으면, INSERT 중복이 된다면, 중복의 대상이 되는 데이터 값을 UPDATE시키는 것(기준은 Unique Key 컬럼이다) 2. Upsert MySQL vs PostgreSQl 1. MySQL INSERT INTO users (col1, col2) VALUES ('val1', 'val2') ON DUPLICATE KEY UPDATE .. 2022. 6. 27. [Docker] docker MySQL, postgreSQL 실행해보기 이번 포스트에는 docker를 이용하여 MySQL container, PostgreSQL를 생성,실행 및 간단하게 기능을 사용해 보겠습니다. 도커 환경 설치에 대해 모르신다면 아래의 링크를 참조 https://spidyweb.tistory.com/277 [Linux] Docker란? ubuntu 18.04 에서 도커 설치하기, centos-7 에서 도커 설치하기 이번 포스트에는 docker에 대해 설명하고, ubuntu와 centos에 설치해보도록 하겠습니다. 1. Docker란 Docker는 응용 프로그램들을 소프트웨어 컨테이너 안에 배치시키는 일을 자동화하는 오픈 소스 프로 spidyweb.tistory.com 도커 이미지, 컨테이너 개념에 대해 모르신다면 아래의 링크를 참조 https://spidy.. 2021. 8. 26. [Hive] virtual box linux [ubuntu 18.04]에 Hive Metastore PostgreSQL로 설정하기(변경하기) 이번 포스트에는 저번에 설정한 Hive의 MetaStore Embedded MetaStore인 derbyDB(MySQL)에서 PostgreSQL로 각각 변경해보고 확인해보겠습니다. vritualbox 설치,ubuntu설치, ssh통신, hadoop 설치가 완료 되지 않으신 분은 아래의 URL을 참고하여 완료해 주세요. 1.virtualbox 설치 및 ubuntu 설치 spidyweb.tistory.com/212?category=842040 [Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기 1.virtual box를 다운로드한다. www.virtualbox.org/wiki/Downloads Downloads – O.. 2021. 7. 13. [Linux] ubuntu 18.04에 MySQL, PostgreSQL 설치하기 1.MySQL 설치 1) apt-get update sudo apt-get update 2) MySQL server 설치 sudo apt-get install mysql-server 3) mysql 실행하기 sudo systemctl start mysql #시작할때 자동으로 mysql실행하기 sudo systemctl enable mysql 4) mysql 프롬프트 접속 sudo /usr/bin/mysql -u root -p -mysql에 접속할때 root 계정에 패스워드 없이 접속했고, root 계정에 패스워드를 추가해 보겠습니다. -패스워드를 변경하는 쿼리는 mysql 버전별로 조금 다르기 때문에 버전을 먼저 확인해 보겠습니다. 5)버전 확인 SHOW VARIABLES LIKE '%version%';.. 2021. 6. 26. 이전 1 다음 728x90
