본문 바로가기
728x90

Data Engineer3

[2025년 회고록] 한 해를 돌아보며, 그리고 새해의 목표 우선, 이번 2025년은 정말 다사다난한, 다이나믹한 한 해였다고 말할 수 있을 것 같습니다. 돌아보기에 앞서 제가 2025년 초에 작성 한 글에서 얼마나 그 목표를 이뤘는지를 확인해봤습니다.https://spidyweb.tistory.com/564 [2025년 목표] 쉬는 동안 도전해 볼 것퇴사를 한 지 3주가 지났는데, 시간이 너무 빠른 것 같습니다. 새해가 왔고 그에 맞게 도전해보고 싶었던 목록들, 그리고 쉬면서 해야 하는 것들, 쉴때만 할 수 있는 것들에 대해서 생각을 해봤고spidyweb.tistory.com작년에 퇴사한 이후로 세웠던 목표는 아래와 같이 설정했었는데, 하나씩 봐보겠습니다.운동량 2배 늘리기매 달 한군데 씩 여행가기영어 회화,표현 공부하기다양한 장르의 책 읽기기본기 공부하기 + .. 2026. 1. 1.
[Data Pipeline] 1. batch job data pipeline의 구성과 장,단점과 정리 (비용, 고려 사항, 성능) 이번 포스트에는 batch job에 사용될 수 있는 다양한 데이터파이프라인 조합과 그에 따른 장단점과 고려 사항을 정리해보겠습니다. 아래의 항목들이 포함한 특징을 같이 적어보겠습니다.상황별 배치 파이프라인 구성장단점조직의 규모 및 구성비용확장성백업, 모니터1. 각 데이터 파이프라인의 구성흔히 말하는 E(Extract), T(Transform), L(Load) 하는 소스며, 프레임워크며, 저장 장소가 정말 다양하고 비용과 성능 그리고 필요한 비지니스 요건에 따라 달라집니다. 우선 그 종류에 대해서 파악해보고 장단점을 하나씩 확인해보겠습니다.1) 다양한 소스의 구성소스특징 / 설명예시RDBMS구조화된 정형 데이터MySQL, PostgreSQL, Oracle, MSSQL로그 데이터 반정형/비정형 이벤트 데이터.. 2025. 4. 13.
[Data Engineering] CCA Spark and Hadoop Developer Exam(CCA175) 정보와 준비 자료 1. 시험 소개 1) 자격증 분류 cloudera 주관 CDH(Cloudera Distribution Including Apache Hadoop) , HDP(Hortonworks Data Platform) 자격증 중, CCA(Cloudera Certified Association)에 해당하는 자격증 2) 자격증 소개 Apache Spark와 Cloudera Enterprise tool을 이용한 데이터 수집, 가공 ,처리를 다루는 자격증 문항 수 Cloudera Enterprise cluster에서 수행하는 8 ~ 12개의 수행능력 기반의(hands-on) 과제 시간 제한 120분 합격 점수 70% 이상 문제의 언어형식 영어 시험 비용 US$295 Spark 코딩 시 사용 가능 프로그래밍 언어 (결과만 중.. 2023. 3. 7.
728x90

티스토리툴바