728x90 데이터 수집3 [Data]로그 데이터 수집 -로그 데이터는 빅데이터 관련 기술의 혜택을 가장 많이 받은 데이터일 것이다. -IT 환경에서 가장 많이 발생하는 데이터지만, 데이터 처리 기술이 최근처럼 발달하지 않았던 시기에는 처리 비용에 비해 가치가 낮은 데이터로 여겨졌다.(mongoDB와 같은 단순 대용량 데이터를 다루는 nosql dbms를 통해 관리) -하지만 지금은 사물인터넷(IoT)의 급부상과 함께 그 효용성이 날로 증가하고 있다 -로그 데이터를 수집해야 할 상황이라면, 수집환경과 수집 데이터를 처리하고자 하는 시스템을 고려해 수집기술을 선택해야 한다. -로그데이터를 수집하기 위한 수집기술 선택 시 고려해야 할 사항은 확장성, 안정성, 유연성, 주기성이다. #로그데이터 수집 시 고려할 사항 확장성 수집의 대상이 되는 시스템이 얼마나 늘어날.. 2021. 1. 7. [Data]데이터 수집 절차 프로젝트의 프로세스 정의 일반적인 프로젝트와 데이터 수집이 포함된 프로젝트의 프로세스를 일반화하기 어려우므로 세 가지 부분으로 나누어 일반화 시켜보자. 여기서는 데이터 입력, 데이터 처리, 서비스 제공으로 나누어 보았다. -데이터입력 일반 프로젝트 사용자가 데이터 발생의 주체가 되며 데이터 입력자가 데이터에 대한 오너십을 가진다. 데이터는 트랜잭셕 하나에 한 건씩 발생시킨다. 수집관련 프로젝트 수집 프로세스 자체가 데이터 발생의 주체가 되며 수집 정책에 관련된 기술에 대한 데이터 오너십이 존재한다. 데이터는 프로세스 하나에서 여러건 발생 할 수 있다. -데이터처리 일반 프로젝트 입력된 데이터의 사전처리 및 사후처리 과정이 거의 존재하지 않으며 원본 데이터의 변경이 이뤄지지 않는다. 수집관련 프로젝트 대부.. 2021. 1. 5. [Data]데이터의 특징과 종류, 수집 일반적인 데이터의 특징구분정성적 데이터정량적 데이터형태비정형 데이터정형ㆍ반정형 데이터특징객체 하나에 함의된 정보를 갖고 있다.속성이 모여 객체를 이룬다.구성언어, 문자 등으로 이루어짐수치, 도형, 기호 등으로 이루어짐저장 형태파일, 웹데이터베이스, 스프레드시트소스 위치외부 시스템(주로 소셜 데이터)내부 시스템(주로 DBMS)수집활동에서 데이터의 특징구분가역적 데이터불가역적 데이터환원 가능성의존성원본 데이터와의 관계처리 과정활용 분야구분가역적 데이터불가역적 데이터환원 가능성가능하다불가능하다의존성원본 데이터에 의존적원본 데이터에 독립적원본 데이터와의 관계1:1 관계1:N 혹은 N:1처리 과정탐색병합활용 분야데이터 웨어하우징, 로그 수집소셜 분석, 텍스트 마이닝데이터 수집을 위해 가장 먼저 고려해야 할 사항은.. 2021. 1. 5. 이전 1 다음 728x90
