본문 바로가기
728x90

분류 전체보기331

[Data Engineering] CCA Spark and Hadoop Developer Exam(CCA175) 정보와 준비 자료 1. 시험 소개 1) 자격증 분류 cloudera 주관 CDH(Cloudera Distribution Including Apache Hadoop) , HDP(Hortonworks Data Platform) 자격증 중, CCA(Cloudera Certified Association)에 해당하는 자격증 2) 자격증 소개 Apache Spark와 Cloudera Enterprise tool을 이용한 데이터 수집, 가공 ,처리를 다루는 자격증 문항 수 Cloudera Enterprise cluster에서 수행하는 8 ~ 12개의 수행능력 기반의(hands-on) 과제 시간 제한 120분 합격 점수 70% 이상 문제의 언어형식 영어 시험 비용 US$295 Spark 코딩 시 사용 가능 프로그래밍 언어 (결과만 중.. 2023. 3. 7.
[IT용어] 개발방법론, 애자일(Agile), 스크럼(Scrum), 스프린트(Sprint) 정리 1. 애자일(Agile) 애자일은 고객 만족과 빠른 반복을 우선으로 하는 소프트웨어 개발 방법론입니다. 애자일 방식은 변화하는 요구사항과 피드백에 대한 적응을 강조하며, 작동하는 소프트웨어를 자주 제공하는 것에 중점을 둡니다. 애자일은 팀 구성원 간의 협력과 개방적인 의사소통을 강조하며, 실험과 빠른 반복에 대한 의지도 강조합니다. 2. 스크럼 스크럼은 자기 조직화와 "스프린트"라고 불리는 반복적인 개발 주기를 강조하는 애자일 방법론의 구체적인 구현 방법입니다. 애자일의 핵심 원칙인 지속적 개선에 중점을 두기 때문에 스크럼과 애자일이 동일하게 여겨지는 경우가 많습니다. 그러나 스크럼은 작업 수행을 위한 프레임워크이며, 애자일은 철학입니다. 스크럼에서 팀은 작동하는 제품 증분을 제공하기 위해 짧고 집중적인.. 2023. 2. 24.
[AWS] s3 vs s3a vs s3n 차이 정리 s3 vs s3a vs s3n s3 s3a s3n 공통점 ○ 하둡의 저장소가 hdfs가 아닌, AWS s3일 때 클라이언트를 제공하는 파일시스템 종류(s3에 읽기,쓰기를 가능하게 해주는 어댑터) ○ AWS s3에 저장하게 해주는 하둡의 각각 다른 파일시스템 URI s3:// s3a:// s3n:// 파일 크기 제한 5GB보다 클 수 있지만 다른 S3 도구와 상호 운용할 수 없음 큰 파일(5GB 제한 없음), 고성능 작업 등을 지원 가능 단일 파일 크기에 대한 5GB 제한있음 특징 ○ S3가 지원하는 하둡 호환 블록 기반 파일 시스템 ○ 파일이 포함된 기존 버킷을 사용하거나 다른 파일을 동일한 버킷에 쓰지 않아야 함 ○ HDFS에 있는 것처럼 블록으로 저장 ○ 파일 시스템 전용 버킷이 필요 ○ 읽기 성능은.. 2023. 2. 23.
[Java] Compile과 Decompile (feat. .JAR, .WAR, .class, .java) + JAD 이번 포스트에는 Java 언어의 특징인 Compile과 그의 반댓말인 Decompile, 그리고 관련된 파일형식 및 도구에 대해 정리해보겠습니다. 1. Compile이란? 1) 정의 사람이 이해하는 언어를 컴퓨터가 이해할 수 있는 언어로 바꾸어 주는 과정 컴퓨터는 0과 1로만 모든 명령을 이해하고 실행하기 때문에, 인간의 언어를 기계가 알아 들을 수 있게 바꿔주는 작업이 필요함. Compiler(compile + link) compile: 원시코드에서 목적코드(목적파일)로 바꾸어 주는 것 link : 목적 파일을 실행 파일로 바꾸는 것 원시코드: 인간이 알아볼 수 있는, 우리가 작성한 코드(.java) 목적코드: 컴퓨터가 이해할 수 있도록 번역한 코드(기계어)(.class) 2) compile을 과정이 .. 2023. 2. 17.
[DataBase] Oracle DBMS Synonym (Public, Private)개념과 실습 1. Synonym이란? 시노님(Synonym)의 뜻은 동의어이며 일종의 별칭 오라클에서 쿼리문을 작성할 때 스키마명(소유자명)을 붙이지 않고 테이블을 사용하고 있다면 해당 테이블의 시노님을 사용하고 있는 것 시노님은 Table, View, Procedure, Function, Sequence 등의 오라클 오브젝트에 사용 가능 (mysql에는 없는 기능) MySQL은 DB.Table의 구조 2. Synonym의 장점 오브젝트명을 짧게하여 SQL문을 단순화 스키마, 오브젝트명(테이블명 등)이 변경 되어도 시노님만 재생성하면 SQL문은 변경하지 않아도 됨 오브젝트를 외부에 제공할 경우 스키마, 오브젝트명을 숨길 수 있어서 보안에 도움이 됨 3. Synonym 문법 CREATE [OR REPLACE] [PUB.. 2023. 2. 15.
[Trouble Shoot] 개발자 도구 알아보기 1. 개발자 도구란? 브라우저에서 제공하는 도구 프론트앤드 개발을 하면서 프론트 앤드를 개발하는데 도움이 될만한 여러가지 기능들을 제공 웹사이트 디버깅을 할 때 사용 디버깅(debugging) 문제를 캐치하고 문제의 원인을 파악하여 수정하는 것 2. 개발자 도구 실행 방법 f12 누르기 우클릭 → 검사 ctrl + shift + i 3. 패널(panel) 개발자 도구 패널에는 아래 리스트와 같은 것들이 있다. Elements Console Sources Network Performance Memory Application Security Lighthouse Recorder Performance insights * 빨간색 패널은 자주 쓰이는 패널 1) Elements Element 패널은 html 코드를 .. 2023. 2. 15.
[Data] 데이터 관리, 마스터 데이터와 MDM(Master Data Management) 1. 마스터 데이터란? 마스터 데이터는 비즈니스 운영에 필수적인 모든 데이터 일반적으로 모든 비즈니스 데이터 중에서 작은 비율이지만, 조직 내에서 가장 복잡하고 중요한 데이터 중 일부 비즈니스 주체 또는 비즈니스가 수행되는 객체(고객, 공급업체, 직원, 제품, 비용센터 등)에 관한 데이터 트랜잭션 데이터와 비교되는 맥락에서 사용 일반적으로 다양한 스프레드시트, 애플리케이션, 물리적 미디어에 분산 사람(고객, 직원, 공급업체), 장소(사무실, 사업장), 사물(제품, 설비자산)과 같은 데이터 마스터 데이터의 예시 고객 마스터 데이터: 이름에서 알 수 있듯이, 고객 마스터 데이터에는 연락처 정보부터 구매 이력, 지급 조건에 이르기까지 고객과의 거래에 필요한 모든 핵심 데이터가 포함 ERP, CRM 및 기타 시.. 2023. 2. 12.
[Hive] 분산 처리에서의 Skew 와 Distinct count의 성능 과의 관계 이번 포스트에는 Skew와 Skew의 개념에 대해서는 아래의 링크를 참조해주세요. 2021.10.05 - [BigData/Hive] - [Hive] Hive의 성능(테이블) (3) bucketing(버켓팅),skew(스큐), serde(서데), join type(맵 조인, 셔플 조인, 정렬-병합 조인)정리 [Hive] Hive의 성능(테이블) (3) bucketing(버켓팅),skew(스큐), serde(서데), join type(맵 조인, 셔플 조인, 정 이번 포스트에는 이전 포스트에서 전부 다루지는 못했던, Hive의 성능에 관한 것들을 위주로 다루어 보겠습니다. *Hive의 개념을 모르신다면 아래를 참조해주세요 2021.07.12 - [BigData] - [Hive] Hive란?(1) spidywe.. 2023. 2. 12.
[AWS] VPC 정리 2. AWS VPC와 연관된 개념(gateway, VPC endpoint, VPC Peering, traffic mirroring, VPN 연결, EIP + Direct Connect) 이번 포스트에서는 VPC와 연관된 용어와 개념을 정리해보겠습니다. VPC 포스트 1편 ↓ https://spidyweb.tistory.com/465 1. NAT 게이트웨이, NAT 인스턴스 NAT 게이트웨이 및 NAT 인스턴스는 IPv4에만 적용되고 IPv6에는 적용되지 않으므로 인바운드 차단에는 올바르지 않습니다. 이러한 두 구성 요소는 프라이빗 서브넷의 EC2 인스턴스가 인터넷에 통신하고 인바운드 트래픽을 방지할 수 있지만 IPv6이 아닌 IPv4 주소를 사용하는 인스턴스로만 제한 됩니다. 1) NAT 게이트웨이 Private subnet이 인터넷과 통신하기 위한 outbound instance Private network가 외부에서 요청되는 inbound는 필요 없더라도 인스턴스의 펌웨어나 혹은 주.. 2023. 2. 8.
728x90

티스토리툴바