728x90 분류 전체보기336 [Docker] docker file로 image build하기 (ubuntu:18.04 image에 git설치 실습) 이번 포스트에는 docker file로 image를 빌드 해보겠습니다. 도커 환경 설치에 대해 모르신다면 아래의 링크를 참조 https://spidyweb.tistory.com/277 [Linux] Docker란? ubuntu 18.04 에서 도커 설치하기, centos-7 에서 도커 설치하기 이번 포스트에는 docker에 대해 설명하고, ubuntu와 centos에 설치해보도록 하겠습니다. 1. Docker란 Docker는 응용 프로그램들을 소프트웨어 컨테이너 안에 배치시키는 일을 자동화하는 오픈 소스 프로 spidyweb.tistory.com 도커 이미지, 컨테이너 개념에 대해 모르신다면 아래의 링크를 참조 https://spidyweb.tistory.com/278 [Docker] docker 이미지.. 2021. 9. 15. [Docker] docker 이미지 저장(commit), docker hub에 이미지 올리기, docker hub에서 이미지 받아오기 이번 포스트에는 docker 이미지를 저장하는법, 그리고 docker hub사용법에 대해 알아보겠습니다. 도커 환경 설치에 대해 모르신다면 아래의 링크를 참조 https://spidyweb.tistory.com/277 [Linux] Docker란? ubuntu 18.04 에서 도커 설치하기, centos-7 에서 도커 설치하기 이번 포스트에는 docker에 대해 설명하고, ubuntu와 centos에 설치해보도록 하겠습니다. 1. Docker란 Docker는 응용 프로그램들을 소프트웨어 컨테이너 안에 배치시키는 일을 자동화하는 오픈 소스 프로 spidyweb.tistory.com 도커 이미지, 컨테이너 개념에 대해 모르신다면 아래의 링크를 참조 https://spidyweb.tistory.com/278 .. 2021. 9. 14. [Spark] Spark partition pruning 개념, 확인 방법(실행 계획) 1.Partition Prunning 이란? prunning이란 '가지치기' 라는 뜻으로 데이터 시스템에서는 얻고자 하는 데이터를 가지고 있지 않은 파일은 스킵하고 얻고자 하는 파일만 스캔하는 최적화 기법 RDBMS의 Partition prunning과 개념적으로 동일 Spark가 HDFS나 S3와 같은 저장소에 디렉토리와 파일을 읽을 때 지정된 파티션의 파일만 읽을 수 있도록 성능 최적화를 가능하게 함 파일을 파티션구조로 만드는 것이 선행되어야 함 2. Static Partition Prunning 아래의 사진과 같이 모든 데이터를 Scan하여 filter하는 것이 아닌, 특정 원하는 데이터만 Filter 후 데이터를 scan하는 것이 pushdown filter 혹은 predicate pushdown.. 2021. 9. 14. [Docker] docker MySQL, postgreSQL 실행해보기 이번 포스트에는 docker를 이용하여 MySQL container, PostgreSQL를 생성,실행 및 간단하게 기능을 사용해 보겠습니다. 도커 환경 설치에 대해 모르신다면 아래의 링크를 참조 https://spidyweb.tistory.com/277 [Linux] Docker란? ubuntu 18.04 에서 도커 설치하기, centos-7 에서 도커 설치하기 이번 포스트에는 docker에 대해 설명하고, ubuntu와 centos에 설치해보도록 하겠습니다. 1. Docker란 Docker는 응용 프로그램들을 소프트웨어 컨테이너 안에 배치시키는 일을 자동화하는 오픈 소스 프로 spidyweb.tistory.com 도커 이미지, 컨테이너 개념에 대해 모르신다면 아래의 링크를 참조 https://spidy.. 2021. 8. 26. [Docker] docker 기본 명령어 정리 (image, container) 이번 포스트에는 docker 기본 명령어 정리하겠습니다. 도커 환경 설치에 대해 모르신다면 아래의 링크를 참조 https://spidyweb.tistory.com/277 [Linux] Docker란? ubuntu 18.04 에서 도커 설치하기, centos-7 에서 도커 설치하기 이번 포스트에는 docker에 대해 설명하고, ubuntu와 centos에 설치해보도록 하겠습니다. 1. Docker란 Docker는 응용 프로그램들을 소프트웨어 컨테이너 안에 배치시키는 일을 자동화하는 오픈 소스 프로 spidyweb.tistory.com 도커 이미지, 컨테이너 개념에 대해 모르신다면 아래의 링크를 참조 https://spidyweb.tistory.com/278 [Linux] docker 이미지(image), .. 2021. 8. 23. [Docker] docker 이미지(image), 레이어(layer), 컨테이너(container) 이번 포스트에는 docker의 이미지, 레이어, 컨테이너 개념을 알아보고 정리해보겠습니다. 1. 이미지(image) -도커에서 서비스 운영에 필요한 서버 프로그램, 소스코드 및 라이브러리, 컴파일된 실행 파일을 묶는 형태 이미지 특징 특정 프로세스를 실행하기 위한(컨테이너 생성(실행)에 필요한) 모든 파일과 설정값(환경)을 지닌 것 ex) Ubuntu 이미지- ubuntu를 실행하기 위한 모든 파일을 가지고 있다. ex) Oracle 이미지- oracle을 실행하는데 필요한 파일과 실행명령어, port정보 등을 모두 가지고 있다. 이외에도 많은 이미지들이 있고, git hub와 유사한 docker hub 에서 찾고 버전관리 및 배포(push&pull)이 가능하다. 도커 이미지의 용량은 보통 수백 MB~ .. 2021. 8. 23. [Docker] Docker란? ubuntu 18.04 에서 도커 설치하기, centos-7 에서 도커 설치하기 이번 포스트에는 docker에 대해 설명하고, ubuntu와 centos에 설치해보도록 하겠습니다. 1. Docker란 Docker는 응용 프로그램들을 소프트웨어 컨테이너 안에 배치시키는 일을 자동화하는 오픈 소스 프로젝트입니다. 가상머신(Virtual machine)과 비슷하지만 도커의 컨테이너는 더 이식성이 뛰어나고 리소스 친화적이며 호스트(Host) 운영 체제에 더 많이 의존합니다. 즉 Vm같은 경우에는 windows 를 Host Operation System으로 두고 그 위에 guest OS 인 linux, centos, 또 다른 windows를 올리고 작업 하는 환경이고, docker는 operating system windows 혹은 linux와 같은 곳에서 바로 컨테이너를 구성하여 작업 하는.. 2021. 8. 23. [BigData] 헷갈릴 만한 용어 정리 HDFS 노드, EMR cluster 노드, Spark Application (process) 정리 1. HDFS구분name nodedata nodejournal node설명파일 시스템의 메타데이터(파일명, 디렉터리 구조, 블록 위치 등)를 관리실제 데이터는 보관하지 않고, 어떤 데이터 블록이 어느 DataNode에 저장되어 있는지 추적실제 데이터를 저장하고 관리NameNode의 지시에 따라 데이터를 저장하거나 삭제하고, 주기적으로 상태를 NameNode에 보고고가용성(HA) 환경에서 NameNode 간 메타데이터 변경 사항을 기록Active NameNode가 장애 발생 시 Standby NameNode가 JournalNode의 로그를 통해 복구특징NameNode의 부하를 줄이고 장애 발생 시 복구 시간을 단축NameNode의 백업으로 작동하지만, NameNode와 1:1로 동작하지 않음다수의 Data.. 2021. 8. 19. [Hive,Spark] Hive, Spark의 Date Functions 정리, oracle,mysql에서 쓰일 수 있는 functions 언급 1.자주 쓰이는 Hive,Spark Date Functions 정리 1. current_date() 현재의 날짜를 반환 (oracle은 current_date) 2. current_timestamp() 현재의 시각을 반환(밀리초까지) (oracle은 current_timestamp, current_date,current_timestamp가 oracle에서는 동일하다.) 3. unix_timestamp() 현재의 시각을 unix시간으로 반환 unix_timestamp() 는 unix_timestamp(current_timestamp,'yyyy-MM-dd HH:mm:ss')와 같다. 4. unix_timestamp(str date) 입력한 시각,날짜를 unix시간으로 반환 yyyy-MM-dd HH:mm:ss.. 2021. 8. 19. 이전 1 ··· 18 19 20 21 22 23 24 ··· 38 다음 728x90
