728x90 전체 글331 [NOSQL] MongoDB의 역할 및 활용 사례 NOSQL의 특징과 역할 -NOSQL 자체가 비복잡 대용량 데이터를 저장하기 위한 도구로 쓰이고 있다. -로그데이터를 저장할 때, 실시간 데이터 스트림을 저장할때 -부하 분산이 가능하다,(sharding) 데이터의 스키마제약을 받지않는다.(flexible schema) -replicaset 을 통한 HA(High Availability) 높은 가용성 (write,read 구분 및 장애시 사용할 예비 DB 복제 및 마련) MongoDB 알고리즘 MongoDB의 경우 확장된 형태의 Raft 컨세서스 모델 사용을 사용하면 컨세서스 알고리즘에는 paxos와 raft가 있다. 레플리카 셋에 참여하는 각 멤버들이 서로 데이터를 동기화하고 노드들 간에 하트비트가 되지 않을때 어떻게 할지 결정하는 알고리즘 Replic.. 2021. 1. 8. [DataBase] Oracle 의 스키마 (Schema)그리고 유저(User) 스키마란 무엇인가? - 오라클에서 스키마란 스키마 오브젝트들의 집합 - 스키마오브젝트는 테이블, 뷰, 인덱스와 같은 구조를 포함하는 논리적인 데이터 저장 구조를 가진 객체 - 하나의 스키마는 데이터베이스 사용자에의해 소유 다시 말하면 -스키마란 임의의 사용자가 생성한 모든 데이터베이스 객체(object))들을 말하며, 스키마 이름은 그 사용자(user)의 이름과 같으므로(스키마(schema) ≒ 오너(owner)) ex) 'user1'이라는 사용자가 테이블, 인덱스, 뷰등 여러 객체를 생성했다면, 그 객체의 소유자는 'user1'이 되며 이 객체 모두를 가리켜 user1스키마라고 한다. -오라클 시스템 정보를 갖고 있는 데이터 딕셔너리들 대부분은 소유자가 SYS였다. -따라서 데이터 딕셔너리들은 SYS .. 2021. 1. 8. [DataBase] 무결성(Integrity)과 정합성(Consistency) #데이터 무결성(Data Integrity) : 데이터 값이 정확한 상태 #데이터 정합성 : 어떤 데이터들이 값이 서로 일치함. - 중복 데이터를 많이 사용하면 데이터끼리 정합성을 맞추기 어렵다. - 비정규형을 사용해 아노말리(Anomaly : 이상현상)가 발생하면 정합성이 깨진다. - 정합성은 데이터가 서로 모순 없이 일관되게 일치해야 함을 의미 ( cf : 무결성-데이터가 정확하고 완전해야 함을 의미) #어떤 데이터는 정합성은 이상이 없으나, 무결성이 훼손 : 중복 데이터가 다 틀린 값으로 일치(정합성 O, 무결성 X) 따라서 무결성의 정의가 더 광범위하고 무결성을 지키는 것이 데이터 모델링의 최고 목표. #관계형 데이터베이스의 가장 큰 목표는 "데이터 무결성을 높이는 것" -무결성의 종류 1) 엔터.. 2021. 1. 8. [NOSQL]MongoDB 기본 명령어 -[시스템 속성]-[환경 변수 편집]-[환경 변수]-[시스템 변수의 path]에 mongodb\Server\버전\bin파일을 등록한다. 1.mongoDB 서버 실행 >mongod --dbpath Command 창을 열어 위의 명령어를 실행해준다. 기본경로에 파일을 만든 사람은 그냥 mongod 만 쳐도 되고 path 를 따로 지정해주고 싶으면 뒤의 --dbpath 와 원하는 경로도 같이 넣어줘서 폴더를 지정할 수 있다. 2.mongoDB 쉘 실행 >mongo -서버를 실행해 둔채로 새로운 커맨드창을 여러 위의 커맨드를 실행한다. 3.데이터베이스 생성,조회,사용 >show dbs -데이터 베이스의 목록을 보여줍니다.(현재 testdb는 만들어둔 DB) >use -데이터 베이스를 사용하려면 관계형 db에서 .. 2021. 1. 7. [Data]로그 데이터 수집 -로그 데이터는 빅데이터 관련 기술의 혜택을 가장 많이 받은 데이터일 것이다. -IT 환경에서 가장 많이 발생하는 데이터지만, 데이터 처리 기술이 최근처럼 발달하지 않았던 시기에는 처리 비용에 비해 가치가 낮은 데이터로 여겨졌다.(mongoDB와 같은 단순 대용량 데이터를 다루는 nosql dbms를 통해 관리) -하지만 지금은 사물인터넷(IoT)의 급부상과 함께 그 효용성이 날로 증가하고 있다 -로그 데이터를 수집해야 할 상황이라면, 수집환경과 수집 데이터를 처리하고자 하는 시스템을 고려해 수집기술을 선택해야 한다. -로그데이터를 수집하기 위한 수집기술 선택 시 고려해야 할 사항은 확장성, 안정성, 유연성, 주기성이다. #로그데이터 수집 시 고려할 사항 확장성 수집의 대상이 되는 시스템이 얼마나 늘어날.. 2021. 1. 7. [Data]데이터 수집 방법 및 기술(Data Extraction) 수집방법의 분류 수집방법의 종류는 일반적 수집 데이터의 형태와 종류에 따라 크롤링, ETL, 로그수집, ftp, http, RDB 수집방법으로 분류했지만, 여기에는 수집기술, 연동방법 등이 혼합돼 있다. 수집 대상 데이터의 형태와 대상 데이터와의 연동방법 방법에 따라 수집방법을 정의하고, 수집방법의 분류에 대해 설명합니다. 데이터와 서비스 활용 먼저 인지해야 할 사항은 서비스 활용에 필요한 모든 데이터는 디지털화한 결과물이라는 것이다. 디지털 데이터는 형태가 어떤 것이든 각각의 해석기가 존재한다. 해석기를 통해 보통은 텍스트 형태의 가시적 데이터로 혹은 음성이나 동영상 같이 서비스 이용자가 인지할 수 있는 형태로 서비스를 제공한다. 파일 형태의 스프레드시트라면 스프레드시트 지원 프로그램을 통해 데이터를 .. 2021. 1. 5. [Data]데이터 수집 절차 프로젝트의 프로세스 정의 일반적인 프로젝트와 데이터 수집이 포함된 프로젝트의 프로세스를 일반화하기 어려우므로 세 가지 부분으로 나누어 일반화 시켜보자. 여기서는 데이터 입력, 데이터 처리, 서비스 제공으로 나누어 보았다. -데이터입력 일반 프로젝트 사용자가 데이터 발생의 주체가 되며 데이터 입력자가 데이터에 대한 오너십을 가진다. 데이터는 트랜잭셕 하나에 한 건씩 발생시킨다. 수집관련 프로젝트 수집 프로세스 자체가 데이터 발생의 주체가 되며 수집 정책에 관련된 기술에 대한 데이터 오너십이 존재한다. 데이터는 프로세스 하나에서 여러건 발생 할 수 있다. -데이터처리 일반 프로젝트 입력된 데이터의 사전처리 및 사후처리 과정이 거의 존재하지 않으며 원본 데이터의 변경이 이뤄지지 않는다. 수집관련 프로젝트 대부.. 2021. 1. 5. [Data]데이터의 특징과 종류, 수집 일반적인 데이터의 특징구분정성적 데이터정량적 데이터형태비정형 데이터정형ㆍ반정형 데이터특징객체 하나에 함의된 정보를 갖고 있다.속성이 모여 객체를 이룬다.구성언어, 문자 등으로 이루어짐수치, 도형, 기호 등으로 이루어짐저장 형태파일, 웹데이터베이스, 스프레드시트소스 위치외부 시스템(주로 소셜 데이터)내부 시스템(주로 DBMS)수집활동에서 데이터의 특징구분가역적 데이터불가역적 데이터환원 가능성의존성원본 데이터와의 관계처리 과정활용 분야구분가역적 데이터불가역적 데이터환원 가능성가능하다불가능하다의존성원본 데이터에 의존적원본 데이터에 독립적원본 데이터와의 관계1:1 관계1:N 혹은 N:1처리 과정탐색병합활용 분야데이터 웨어하우징, 로그 수집소셜 분석, 텍스트 마이닝데이터 수집을 위해 가장 먼저 고려해야 할 사항은.. 2021. 1. 5. [python]파이썬이란? 파이썬으로 할 수 있는 것들과 할 수 없는 것들 파이썬이란 인터프리터 언어이다.(한 줄 씩 소스 코드를 해석해서 그때그때 실행해 결과를 바로 확인할 수 있는 언어.) (컴파일 언어,C언어 java) 파이썬의 특징 1. 인간다운(인간의 생각방식에 가까운)언어이다. ex) if 4 in [1,2,3,4]: print("4가 있다.") 2. 문법이 쉽다. 3. 무료이고, 강력하다. 시스템 프로그밍이나 하드웨어 제어와 같은 복잡하고 반복 연산이 많은 프로그램은 파이썬과 안 어울린다. 그래서 이러한 약점을 극복할 수 있게끔 다른 언어로 만든 프로그램을 파이썬 프로그램에 포함시킬 수 있다. (C와 찰떡궁합) 4. 간결하다. 의도적으로 간결하게 만들었기 때문에 파이썬은 가장 좋은 방법 1가지만 사용하는 것을 선호한다. ex) languages = ['python'.. 2021. 1. 3. 이전 1 ··· 26 27 28 29 30 31 32 ··· 37 다음 728x90
