본문 바로가기
728x90

전체 글334

[IT용어] (데이터 이관) CDC(Change Data Capture), ETL(Extract Transform Load), ODS(Operational Data store) # CDC 실시간으로 원천 데이터의 변경 사항을 감지하여 이관하는작업이 CDC(Change Data Capture)이다. 다양한 방법으로 캡쳐를 진행하나, 로그를 읽어 변경을 반영하는 방법과 통신을 통한 변경이 주로쓰인다. 현업에서 CDC란 용어는 실시간데이터가 반영된 EDW 그 자체를 칭하기도 한다. # ETL 그리고 데이터를 이관하기위해 추출, 변환, 적재라는 일련의 과정을 거치는데 이를 ETL이라고 한다. ETL 도구로는 SSIS(MS-SQL), ODI(Oracle), ESF 등이 있다. # ODS 현재는 ODS가 staging과 같은의미로 1차적인 데이터 수집공간(temporary)으로 표현되곤한다. EDW로 이관을 위한 중간단계 데이터로, 원천데이터의 복사본으로 사용한다. #Snap Shot D.. 2021. 5. 15.
[IT용어](데이터 흐름) 기간계, 정보계, ODS(Operational Data Store), EDW(Enterprise Data Warehouse), Data Mart(DM), OLAP(On line Analysis Process), ETL(Extract Transform Load),ELT(Extract Load Transform) 운영계 시스템 기업 운영에 필요한 업무용 시스템이며, 이 시스템의 사용자는 직원이 될 수도 있고, 외부 고객이 될 수도 있음 예를 들어 전자상거래 사이트에서 물건을 주문했을 경우, 인터넷뱅킹 사이트에서 이체를 진행했을 경우, 내부 인사시스템의 사원 정보를 갱신하는 경우와 같이 프로세스가 모두 운영계 시스템에서 처리 이 시스템에 발생하는 데이터는 대부분 데이터베이스 트랜잭션 단위로 데이터를 처리하고, 저장하며 흔히 OLTP(Online Transaction Processing) 데이터라고 표현 금융권 운영계 운영계시스템을 분류하여 기간계, 계정계, 정보계, 대외계와 같은 용어를 사용합니다. 1. 기간계(Legacy, Existing) 1) 정의 : 고객이 사용하던 기존 시스템(새로운 시스템 도입 기준시점 .. 2021. 5. 15.
[Java] Guava란? Guava를 써야되는 이유 Guava란? -구글이 작성한 자바 오픈소스 라이브러리 -한 유용한 유틸리티 함수와 클래스들을 다양하게 제공한다. Guava를 써야되는 이유 Guava는 유지보수를 위해 필요한 많은 양의 코드를 줄여주고 잠재적으로 생산성을 높여줍니다. 1. 컬렉션 초기화와 유틸리티 2. 제한된 함수형 스타일의 프로그래밍 3. 멀티맵(Multimaps)과 바이맵(Bimaps) 4. 쉬운 해쉬코드와 비교자(Comparators) 5. 방어적 코딩 2021. 5. 9.
[Hive] virtual box linux [ubuntu 18.04]에 하이브 설치,다운로드 4.ubuntu 에 Hive(하이브) 다운로드 이번 포스트에는 Hive를 설치해 보겠습니다. vritualbox 설치,ubuntu설치, ssh통신, hadoop 설치가 완료 되지 않으신 분은 아래의 URL을 참고하여 완료해 주세요. 1.virtualbox 설치 및 ubuntu 설치 spidyweb.tistory.com/212?category=842040 [Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기 1.virtual box를 다운로드한다. www.virtualbox.org/wiki/Downloads Downloads – Oracle VM VirtualBox Download VirtualBox Here you will find links to Virtual.. 2021. 5. 8.
[Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 3.ubuntu 에 hadoop(하둡) 다운로드,설치 이번 포스트에는 virtualbox에 하둡을 설치하겠습니다. virtualbox에 ubuntu를 설치하지 못하신 분이나, windows의 powershell로 ssh통신을 할 줄 모르시는 분이면 아래URL의 포스트부터 선행하여 주세요! spidyweb.tistory.com/212 vitual box와 ubuntu 설치하기 [Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기 1.virtual box를 다운로드한다. www.virtualbox.org/wiki/Downloads Downloads – Oracle VM VirtualBox Download VirtualBox Here you will find links to.. 2021. 5. 2.
[Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 2.ubuntu terminal과 SSH 통신 1.ubuntu에 openssh-server 설치 2.ssh 시작하기 3.포트포워딩 설정하기 virtualbox 설정 - 네트워크 - 포트포워딩 + 클릭 - ubuntu를 만들게되면 보통 ip가 10.0.2.15로 할당됩니다. 여기서 중요한건 게스트ip랑 포트번호(ssh 22) 4.windows의 powershell창에서 ubuntu 원격 접속 powershell 창에서 ssh 127.0.0.1 -l 자신의 ubuntu 계정입력 -> 해당 서버가 알려진 ssh 호스트의 로컬시스템 목록에 추가하기위해 yes 입력 -> 비밀번호 설정하기 -> 우분투 ssh접속완료 다음 포스트에는 ubuntu에 하둡을 설치 해보겠습니다. 아직 ubuntu설치하는 법에 대해서 모르시는 분들은 아래의 링크를 참조하여 주세요~ s.. 2021. 4. 26.
[Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기 1.virtual box를 다운로드한다. www.virtualbox.org/wiki/Downloads Downloads – Oracle VM VirtualBox Download VirtualBox Here you will find links to VirtualBox binaries and its source code. VirtualBox binaries By downloading, you agree to the terms and conditions of the respective license. If you're looking for the latest VirtualBox 6.0 packages, see Virt www.virtualbox.org windows host 다운로드 2.virtual box .. 2021. 4. 26.
[git,github] 1) git, github(깃,깃허브) 개념,명령어,다운로드, 가입 총 정리 이번 시리즈는 총 3개의 시리즈로 이뤄져 있습니다. 1. git,git hub의 개념, 명령어, 설치와 가입 및 리포지토리를 생성하기 2. git, git hub 실습 3. git, github을 이용한 협업 그 중 이번 포스트는 git,git hub의 개념, 명령어, 설치와 가입 및 리포지토리를 생성하기 를 해보겠습니다. 1. Git 이란? 형상 관리 도구(Configuration Management Tool) 중 하나. 참고로 형상 관리 도구는 버전 관리 시스템이라고도 한다. Git은 소프트웨어를 개발하는 기업의 핵심 자산인 소스코드를 효과적으로 관리할 수 있게 해주는 무료, 공개소프트웨어. 파일의 변경정보 히스토리와 저장소를 여러 클라이언트에 복제하여 관리하는 DVCS(Distribution VCS.. 2021. 4. 2.
[LINUX] Shell script 쉘 스크립트 기본 shell script 쉘 위에서 실행 가능한 명령어를 조합해서 작업을 자동화 하기 위해 사용 ->반복된 작업을 줄이기 위해 사용 셔뱅(shabang) #! {인터프러티 위치} -쉘 스크립트 시작할 때 맨 처음에 기입 -아무것도 아닌 것 같지만, 스크립트를 해석하는 인터프리터를 지정하는 것 ex) #!/usr/bin/python3 변수(variable) 선언은 VAR=? 사용은 $VAR 특수한 경우 ${VAR} 매개변수 $0, $1,.., $*,$@ 산술 덧셈은 추가 처리가 필요함, 입력 매개변수는 기본적으로 스트링 ex) MY_VAR =13 string = 123123123asd 조건문,비교연산자 if then ~elif then ~fi 정수 -eq,-ne,-gt,-lt,-,ge,-le 문자열 ==,!.. 2021. 3. 21.
728x90