728x90 DataBase71 데이터 파이프라인(Data Pipeline) 데이터 파이프라인 : 효율을 위한 작업 데이터 파이프라인의 시작은 왜, 어디에서, 어떻게 데이터를 수집할 것인가에서 부터 시작한다. 데이터 파이프라인을 구축하기 위해서는 여러 소프트웨어적인 수동 작업들을 제거해야하며 Data가 각 지점을 순조롭게 흐르도록(flow) 만들어야 한다. Data의 추출(extracting), 변경(transforming), 결합(combining), 검증(validating) 그리고 적재(loading)하는 과정들을 자동화 하는 것이다. 또한 여러 데이터 스트림을 한번에 처리해야 한다. 이 모든 과정은 오늘날 data-driven enterprise에서 필수적이다. 데이터파이프라인은 모든 종류의 스키마의 데이터를 수용해야한다. 입수하고자 하는 파일이 static source든.. 2020. 9. 14. 대규모 웹 서비스(대용량 DB) 대규모 웹 서비스란, 거대한 데이터를 처리해야만 하는 웹 서비스를 말합니다. 대규모 서비스의 규모감, 대규모 데이터를 다루는 데 있어 어려운 점, 개발 모습을 인지하는 것은 대규모 서비스 개발자에게 필요되는 지식입니다. 사용자가 이용하고 있는 대규모 서비스에 변경을 가할 때 규모를 고려하지 않고 어중간하게 구현해서 적용하다 보면, 시스템 정지를 초래할 수 있습니다. 대규모 웹서비스에 대해 알아보기전 크게 다음에 대한 개념을 잡고 가는 것이 좋습니다. 대규모 웹 서비스 개발이란? - 대규모 데이터를 다룰 때의 과제, 다루기 위한 기본적인 사고방식과 요령. ex) OS의 캐시(cache) 기능이나 대규모 데이터를 전제로 한 DB 운용 방법 - 알고리즘과 데이터 구조 선택의 중요성. 대규모 데이터를 예로 생각.. 2020. 9. 14. 정규형(normal form), 정규화(normalization)와 반(역)정규화(Denormalization) -정규형(normal form) 이상현상이 있는 릴레이션은 이상현상을 일으키는 함수 종속성의 유형에 따라 등급을 구분할 수 있다. 정규형이 높을수록 이상현상이 줄어든다. 보통 BCNF 정규형까지 정규화하면 실제적인 이상현상은 없어진다. ●제 1 정규형 -릴레이션 R의 모든 속성 값이 원자값을 가지만 제 1정규형이라고 한다. ●제 2 정규형 -릴레이션 R이 제 1정규형이고 기본키가 아닌 속성이 기본키에 완전 함수 종속일 때 제 2정규형이라고 한다. (완전함수 종속: A와 B가 릴레이션 R의 속성이고 A->B 종속성이 성립할 때, B가 A의 속성 전체에 함수 종속하고 부분 집합 속성에 함수 종속하지 않을 경우) ●제 3 정규형 -릴레이션 R이 제 2정규형이고 기본키가 아닌 속성이 기본키에 비이행적으로 종속할.. 2020. 8. 23. 이상현상(Anomaly)과 함수 종속성(Functional Dependency) -이상현상의 개념 이상현상(anomaly)이란 테이블에 투플을 삽입할 때 부득이하게 NULL 값이 입력되거나, 삭제 시 연쇄삭제 현상이 발생하거나 , 수정 시 데이터의 일관성이 훼손되는 현상을 말한다. ■삭제이상(연쇄 삭제 문제 발생) -삭제이상(deletion anomaly)이란 투플 삭제 시 같이 저장된 다른 정보까지 연쇄적으로 삭제되는 현상 ex) 장미란 학생이 스포츠경영학 과목을 수강 취소하여 DELETE 문으로 세 번째 투플을 삭제하였다. 그런데 삭제 후 장미란 학생의 학생번호, 학과, 주소 정보가 없어졌다. 스포츠경영학 수강을 취소하려했던 의도와 달리 장미란 학생의 기본 정보가 없어진 것이다. ■삽입이상(NULL 값 문제 발생) -삽입이상(insertion anomaly)이란 투플 삽입 시 특.. 2020. 8. 23. 서브 쿼리(subquery)SELECT,FROM,WHERE 쿼리 안에 있는 쿼리. WHERE 절/FROM 절/SELECT 절 안에 들어가는 쿼리를 통칭하여 서브쿼리라고 한다. WHERE 절 SUBQUERY WHERE 절 안에 들어있다. 가장 자주 쓰이고, 우리가 서브 쿼리 하면 가장 먼저 떠올리는 서브 쿼리이다. 중첩서브쿼리 (nested subqueries) 라고도 불린다. SELECT * FROM student A WHERE A.student_name IN (SELECT B.student_name FROM subject B WHERE B.subject_name = 'MATH'); ▲ 선택과목 B 테이블에서 'MATH'를 선택한 학생들의 이름을 찾아, 학생 A 테이블에서 모든 정보를 조회하는 쿼리 FROM 절 SUBQUERY FROM 절 안에 들어있다. 인라인.. 2020. 7. 7. [DataBase] Oracle 문법(계정 생성과 권한 부여,취소,조회,TABLE SPACE) ●유저 생성 계정 생성하기 CREATE USER 유저ID(필수) IDENTIFIED BY VALUES "비밀번호"(필수) // IDENTIFIED BY 비밀번호(필수)|EXTERNALLY도가능하다 DEFAULT TABLESPACE 테이블스페이스 이름(선택) TEMPORARY TABLESPACE 테이블 스페이스(그룹) 이름(선택) QUOTA 테이블 스페이스 크기 ON 테이블 스페이스 이름(선택) PROFILE 프로파일 이름(선택) PASSWORD EXPIRE(선택) ACCOUNT [LOCK / UNLOCK](선택); 유저ID : USER 이름 BY password : USER가 데이터베이스에 의해 인증되도록 지정하며, 데이터베이스 USER 로그인시 사용하는 비밀번호 이다. EXTERNALLY : USER가.. 2020. 7. 6. MySQL 데이터 타입(data type) 정리 1.데이터 타입 -M은 정수 타입의 최대 출력 폭을 나타낸다. 부동 소수점 및 고정 소수점 타입의 경우,M은 전체 자릿수를 가르킨다. 문자형 타입의 경우,M은 최대 사용가능 갑은 데이터 타입에 따라 다르다. -D는 부동 소수점과 고정 소수점 타입에 적용되며, 소수점 뒷자리수를 나타낸다. 최대가능갑은 30이지만, M-2이상 될 수 없다. -스퀘어괄호 [ ]는타입 정의의 옵션 파트를 나타낸다. 2020. 7. 6. Oracle 데이터 타입(data type) 정리 데이터 타입 데이터 타입이란 컬럼이 저장되는 데이터 유형을 말합니다. 오라클에서 기본적으로 제공하는 기본 데이터 타입과 이 기본데이터 타입을 혼합하여 만들 수 있는 사용자 정의 데이터 타입으로 구분할 수 있습니다. 기본 데이터 타입은 문자형, 실수, 소수, 자료형 등의 여러 데이터를 식별하는 타입입니다. 문자 데이터 타입 데이터타입 설명 CHAR(n) 고정길이 문자 / 최대 2000byte / 디폴트 값은 1byte VARCHAR2(n) 가변길이 문자 / 최대 4000BYTE / 디폴트 값은 1byte NCHAR(n) 고정길이 유니코드 문자(다국어 입력가능) / 최대 2000byte / 디폴트 값은 1byte NVARCHAR(n) 가변길이 유니코드 문자(다국어 입력가능) / 최대 2000byte / 디폴.. 2020. 7. 6. 오라클 리스너(Listener)와 TNS(Transparent Network Substrate) -리스너(listener)란? 오라클 서버에서 클라이언트의 요청을 듣고, 클라이언트와의 통신 환경을 설정하는 파일 오라클 서버에 존재,오라클 클라이언트에서 서버로 접속할 때 필요한 프로토콜 및 포트 정보등을 설정하는 파일 ex) SID_LIST_LISTENER = (SID_LIST= (SID_LIST = (SID_NAME = PLSExtProc) (ORACLE_HOME =C:\oraclexe\app\product\11.2.0\server) (PROGRAM = extproc) ) (SID_DESC = (SID_NAME = CLRExtProc) (ORACLE_HOME = C:\oralcexe\app\product\11.2.0\server) (PROGRAM = extproc) ) ) LISTENER = (DE.. 2020. 7. 6. 이전 1 ··· 4 5 6 7 8 다음 728x90
