본문 바로가기
728x90

분류 전체보기336

[Data] 데이터 마트의 구축(치환, 추가, 스냅샷 테이블, 이력테이블) 이번 포스트에서는 '시각화를 위해 데이터 마트를 만드는 절차'에 대해서 포스트 하겠습니다. 팩트 테이블 -팩트 테이블의 작성에는 추가(append)와 치환(replace) 가 있다. -추가: 새로 도착한 데이터만을 증분으로 추가 INSERT INTO 를 통해 기존의 테이블에 데이터가 추가되는 형태 -치환: 과거의 데이터를 포함하여 테이블 전체를 치환한다. DROP TABLE IF EXISTS tablename 을 통해 삭제 후, CREATE TABLE IF NOT EXISTS tablename을 통해 다시 만드는 과정이 '치환' 테이블 파티셔닝(table partitioning) -효율만을 생각 했을 때는 추가가 압도적으로 유리, 하지만 단점 또한 존재 단점 1. 추가에 실패한 것을 알아채지 못하면 팩트.. 2021. 8. 8.
[Data] 마스터 데이터 vs 트랜잭션 데이터, fact테이블 vs dimension 테이블, 시계열 데이터란? 마스터 데이터란? 트랜잭션 데이터란? 트랜잭션 데이터(transaction data): 시간과 함께 생성되는 데이터를 기록한 것 한 번 기록하면 시간과 함께 생성되기에 변화하지 않는다. 트랜잭션 데이터 는 트랜잭션에서 수집한 정보입니다. 거래가 진행된 시간, 발생한 장소, 구매한 항목의 기준 소매 가격, 사용된 지불 방법, 할인(있는 경우), 거래와 관련된 기타 수량 및 품질이 기록 트랜잭션 데이터는 일반적으로 정형 데이터 범주에 속합니다. 몇 가지 예는 다음과 같습니다. 금융 트랜잭션 데이터: 보험 비용 및 청구 데이터, 또는 구매 또는 판매 데이터, 은행의 경우 입출금 데이터물류 트랜잭션 데이터: 배송 상태 데이터, 배송 파트너 데이터업무 관련 트랜잭션 데이터: 직원 시간 추적 ex) 판매 이력 마스.. 2021. 8. 6.
[Data] 데이터 레이크(data lake)란? 데이터 레이크란? 데이터를 있는 그대로 축적해서 모아두는 곳 데이터를 원래의 형태(미가공의 원시데이터)로 축적해두고 나중에 그것을 필요에 따라 가공하는 구조 데이터를 축적하는 호수에 비유 CSV나 JSON 등의 범용적인 반구조화 텍스트형식이 대부분 사용된다. 구조화된 데이터, 반구조화 된 데이터, 비구조화 데이터가 적재된다. 데이터 웨어하우스를 대체하는 개념 하둡의 HDFS, AWS S3처럼 객체 저장소가 데이터 레이크의 역할을 수행 할 수 있다. *구조화 데이터: 스키마가 명확하게 정의된 데이터 ex) 테이블,csv(반구조화가 될수도 있음),스프레드시트(반구조화가 될수도 있음) *반구조화 데이터: 스키마리스 데이터 라고도 불리며, 데이터 서식은 정해져 있지만, 칼럼 수나 데이터형은 명확하지 않은 데이터.. 2021. 8. 6.
[Hive] Hive-site.xml (2) 주요 property 소개 hive.metastore.warehouse.dir : 데이터 웨어하우스를 저장하는 기본 디렉토리입니다. 기본값은 /user/hive/warehouse hive.exec.scratchdir : 하이브 잡이 수행될 때 생성되는 데이터를 저장할 HDFS 디렉토리입니다. 기본 경로는 “/tmp/hive-계정명” hive.metastore.local : 원격 서버에 설치된메타스토어데이터베이스에 접속할 것인지,로컬에 아파치 더비를 이용할 것인지 설정합니다.기본값은true로 설정돼 있어서,로컬의 아파치 더비를 사용합니다.여러 사용자가 함께 사용한다면false로 설정한 후, JDBC설정 속성을 함께 등록 javax.jdo.option.ConnectionDriverName : 메타스토어 데이터베이스에 접근할 때 사용할.. 2021. 7. 13.
[Hive] virtual box linux [ubuntu 18.04]에 Hive Metastore PostgreSQL로 설정하기(변경하기) 이번 포스트에는 저번에 설정한 Hive의 MetaStore Embedded MetaStore인 derbyDB(MySQL)에서 PostgreSQL로 각각 변경해보고 확인해보겠습니다. vritualbox 설치,ubuntu설치, ssh통신, hadoop 설치가 완료 되지 않으신 분은 아래의 URL을 참고하여 완료해 주세요. 1.virtualbox 설치 및 ubuntu 설치 spidyweb.tistory.com/212?category=842040 [Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기 1.virtual box를 다운로드한다. www.virtualbox.org/wiki/Downloads Downloads – O.. 2021. 7. 13.
[Hadoop] 하둡이란? 하둡 에코시스템이란? hadoop, hadoop eco-system 개념 1.Hadoop 이란? -하둡은 분산 데이터 처리의 공통 플랫폼입니다. -하둡을 3가지로 나눈다면 1) 데이터 저장의 분산 파일 시스템(Distributed file system) HDFS 2) 데이터 처리의 분산 데이터 처리(Distributed data processing) MapReduce(MR) 3) 자원 관리의 YARN(hadoop ver 2.0에 발표) -YARN의 역할 1) CPU나 메모리 등의 계산 리소스는 리소스 매니저인 YARN에 의해 관리 2) YARN은 애플리케이션이 사용하는 CPU 코어와 메모리를 '컨테이너라 불리는 단위로 관리) 3) Hadoop에서 분산 애플리케이션을 실행하면 YARN이 클러스터 전체의 부하를 보고 비어 있는 호스트부터 컨테이너를 할당 -MapReduce란 1).. 2021. 7. 12.
[Hive] Hive란?(1) 개념, 구성요소, 등장배경, 버전 1. Hive란? -하이브는 하둡 에코시스템 중에서 데이터를 모델링하고 프로세싱하는 경우 가장 많이 사용하는 데이터 웨어하우징용 솔루션입니다. -RDB의 데이터베이스, 테이블과 같은 형태로 HDFS에 저장된 데이터의 구조를 정의하는 방법을 제공하며, 이 데이터를 대상으로 SQL과 유사한 HiveQL 쿼리를 이용하여 데이터를 조회하는 방법을 제공합니다. *가장 큰 특징으로는 메타스토어라는 것이 존재하는데, 하이브는 기존의 RDB와는 다르게 미리 스키마를 정의하고 그 틀에 맞게 데이터를 입력하는 것이 아닌, 데이터를 저장하고 거기에 스키마를 입히는(메타스토어에 입력하는) 것이 가장 큰 특징입니다. 2. Hive 구성요소 UI 사용자가 쿼리 및 기타 작업을 시스템에 제출하는 사용자 인터페이스 CLI, Beel.. 2021. 7. 12.
[Hadoop] HDFS에 데이터 저장하기(뉴욕택시 데이터,green taxi data) 이번 포스트에는 설치한 하둡에 뉴욕택시 데이터를 저장 해보겠습니다. 혹시 하둡을 설치하지 않으신 분은 아래의 포스트를 참고해주세요~ https://spidyweb.tistory.com/214?category=842040 [Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 3.ubuntu 에 hadoop(하둡) 다운로드,설치 이번 포스트에는 virtualbox에 하둡을 설치하겠습니다. virtualbox에 ubuntu를 설치하지 못하신 분이나, windows의 powershell로 ssh통신을 할 줄 모르시는 분이면 아래URL의 포스트부터 선행하여 주세요! spidyw spidyweb.tistory.com 1. local로 wget이용하여 데이터 저장하기 htt.. 2021. 7. 4.
[Hive] (2) Hive MetaStore, Partition, msck, DDL문,location 정리 이번 포스트에는 Hive의 가장 큰 특징인 Hive MetaStore, 그리고 bigdata를 다루는데 있어서 중요한 Partition에 관해서 정리 해보겠습니다. 중요한 내용이니 만큼 내용이깁니다. *Hive의 개념을 모르신다면 아래를 참조해주세요 2021.07.12 - [BigData] - [Hive] Hive란?(1) 개념, 구성요소, 등장배경, 버전 [Hive] Hive란?(1) 개념, 구성요소, 등장배경, 버전 1. Hive란? -하이브는 하둡 에코시스템 중에서 데이터를 모델링하고 프로세싱하는 경우 가장 많이 사용하는 데이터 웨어하우징용 솔루션입니다. -RDB의 데이터베이스, 테이블과 같은 형태로 HDFS에 spidyweb.tistory.com 1. Hive Metastore란? 데이터 파일의 .. 2021. 6. 27.
728x90

티스토리툴바