본문 바로가기
728x90

전체 글336

[Network] Bastion Server(Host)란? 아키텍처 및 특징,실습하기 (feat. VPC) 1. Bastion Server(Host)란? Bastion(수호자, 보루, 요새) 배스천 호스트(Bastion Host)란 침입 차단 소프트웨어가 설치되어 내부와 외부 네트워크 사이에서 일종의 게이트 역할을 수행하는 호스트(외부와 통신이 가능한 보안을 위한 중간다리 역할) Proxy 또한 같은 의미 (대리인, 내통자) 배스천 호스트는 내부 네트웍과 외부 네트웍 사이에 위치하는 게이트웨이이다. 보안대책의 일환으로 사용되는 배스천 호스트는, 내부 네트웍을 겨냥한 공격에 대해 방어하도록 설계되었다. 네트웍의 복잡도와 구성에 따라 다르지만, 단일 배스천 호스트 그 자체로서 방어를 할 수도 있으며, 또는 다른 방호 계층과 함께 대형 보안 시스템의 일부가 되기도 한다. 배스천 호스트는 접근 제어 기능과 더불어 게.. 2022. 11. 1.
[OS] CMD prompt vs Power shell , Bash vs Shell script 터미널들 차이점 정리 1. CMD prompt VS Power shell CMD prompt Power shell 출시 연도 1981 2006 사용 용도 Batch 명령어 Batch명령어 + PowerShell cmdlet 별칭 별칭 사용불가 별칭 사용가능 ISE유무 CMD line interface만 있고, 별도의 ISE가 없음 ISE가 있음 Linux 지원 Linux지원 불가능 Linux지원 가능 2. Bash VS Shell script Bash Shell script 출시연도 1989 1989 문법 bash script 문법 Shell script 문법 사용되는 OS Linux지원 가능 + Mac에도 사용가능 + window에도 설치 가능 (linux에 Bash가 있다면, windows에는 cmd 와 powershel.. 2022. 10. 31.
[Kubernetes] kubespray with ansible로 aws EC2에 kubernetes cluster 설치하기(ubuntu 18.04 LTS) EC2 서버 스펙 Master OS image: ubuntu 18.04 LTS Instance type: t2.medium( 2vCPU, 4GiB Mem) volume: 20GiB root volume port : 22(ssh),6443(API),2380,2370(etcd) kubernetes 실행에 필요한 필수 포트(SG group 설정,중요★) https://kubernetes.io/ko/docs/reference/ports-and-protocols/ 포트와 프로토콜 물리적 네트워크 방화벽이 있는 온프레미스 데이터 센터 또는 퍼블릭 클라우드의 가상 네트워크와 같이 네트워크 경계가 엄격한 환경에서 쿠버네티스를 실행할 때, 쿠버네티스 구성 요소에서 kubernetes.io +BGP peering을 위한 .. 2022. 10. 9.
[Kubernetes] MiniKube + docker ubuntu 20.04에 설치하기 이번 포스트에는 virtual box 에 ubuntu 20.04설치하고, docker, minikube를 설치해보겠습니다. virtual box로 ubuntu20.04 서버 구성이 안되신 분들은 아래의 포스트를 참조해주세요. 2021.04.26 - [BigData/Hadoop] - [Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기 [Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기 1.virtual box를 다운로드한다. www.virtualbox.org/wiki/Downloads Downloads – Oracle VM V.. 2022. 9. 23.
[Python] pandas vs pyspark 사용 및 코드 비교 이번 포스트에는 pyspark과 pandas를 쓰임새를 비교 해보고, pyspark의 코드를 pandas코드로 옮겨보고 비교해보겠습니다. 1. Pandas vs Pyspark 언제쓸까? pandas와 spark는 dataframe이라는 SQL 테이블 또는 Excel 스프레드 시트에서와 같이 이질적으로 유형이 지정된 열이있는 데이블 형식 데이터를 다루게 될 때 아주 적합함 대부분의 데이터처리에는 pandas 라이브러리를 통해 해결했었는데, pandas와 spark의 가장 큰 차이는 핸들링하는 데이터의 양의 크기 pandas는 통상적으로 spark보다 작은 데이터 처리에 대해서는 속도가 빠르다고 하는데, 10GB이상의 파일 처럼 파일의 크기가 커지게 되면, pandas는 메모리용량의 부족으로 인해 성능이 저.. 2022. 9. 22.
[Data Engineering] 데이터 엔지니어가 읽으면 좋을 책 추천 목록(+ 내가 읽은 순서, 읽을 순서) 이번 포스트에는 데이터엔지니어 오픈톡방 및 지인들에게 추천 받은 책 목록을 분야별로 분류하여 소개해 드리겠습니다. 또한 제가 책을 읽은 순서와 아직 읽지는 못한 책의 읽어야 할 순서도 정리해보겠습니다. 1. SQL 데이터 업계에 있어 가장 중요한 언어라고 생각되는 SQL, 예전에 저희 회사 이사님께서 말씀하시길 결국 하이브, 스파크도 사람들이 SQL사용하는게 편하기 때문에 그거에 맞게 생긴 프레임워크이거나, SQL을 사용할 수 있게 지원하는 방향으로 간다. SQL의 컨셉 for oracle 저자: 변동구 http://www.yes24.com/Product/Goods/6357997 SQL의 컨셉 for ORACLE - YES24 이 책은 SQL 초중급자를 대상으로 한다. SQL의 기본 개념과 문법을 알고,.. 2022. 9. 9.
[Java] public static void main(String args[]){}란? 이유 자바의 메인 메소드 메인 메소드란 Java로 구현된 프로그램이 시작될 때 가장 먼저 실행되는 메소드 자바의 메인메소드를 작성할 때는 public static void main(String[] args){}구조로 작성 public(접근제어자) public은 접근제어자의 일종 private default protected public *private -> default -> protected -> public 순으로 보다 많은 접근을 허용 public 접근제어자는 어느 클래스에서든 해당 객체를 참조할 수 있다는 뜻 JVM(Java Virtual Machine)이 접근 하기 위해서 public을 사용 다른 접근 제어자를 사용하면 프로그램이 실행되지 않음 하지만 접근제어자를 이용하면 프로그래머의 코딩 실수를 방.. 2022. 9. 5.
[Database] PostgreSQL 데이터 타입 정리 PostgreSQL 데이터 타입 분류 종류 내용 숫자 smallint 작은 범위의 정수, 2 bytes(-32768 ~ +32767) integer 정수에 대한 일반적인 선택, 4 bytes(-2147483648 ~ +2147483647) bigint 큰 범위의 정수, 8 bytes(-9223372036854775808 ~ 9223372036854775807) decimal 사용자 지정 정밀도, variable, 정확(제한 없음) numeric 사용자 지정 정밀도, variable, 정확(제한 없음) real 가변 정밀도, 부정확, 4 bytes(6자리 소수점 정밀도) double precision 가변 정밀도, 부정확, 8 bytes(15자리 소수점 정밀도) serial 자동 증가 정수, 4 bytes.. 2022. 9. 1.
[Spark] PySpark read & write + partitioning 간단한 예시문제 python read&write 과 partition에 대해 아래의 링크에서 받은 파일로 다음과 같은 문제를 만들었습니다. https://github.com/udacity/data-analyst/blob/master/projects/bike_sharing/201508_trip_data.csv 혹은 아래의 링크에서 201508_trip_data.csv 파일 다운로드 후 Spark에서 Data Read https://github.com/Spidyweb-3588/python_skillup/tree/main/201508data 문법적인 자유도에 관한 문제를 보시려면 아래의 링크를 참조해주세요 2022.03.26 - [BigData/Spark & Spark Tuning] - [Spark] 스파크의 문법적 자유도,.. 2022. 8. 23.
728x90

티스토리툴바