본문 바로가기
728x90

분류 전체보기331

[Python] Input() vs sys.stdin.readline() 입력 함수 차이 (feat. python version) 이번 포스트에는 사용자 입력을 처리하기 위한 내장 함수에 대해서 비교하여 정리하겠습니다. 1. Python 2.x 1) raw_input() 입력 값을 무조건 문자열로 받음 2) input() 입력으로 들어온 값을 evaluate 해서 그 값에 맞는 자료형으로 초기화(형변환이 자동으로 된다.) 2. Python 3.x 1) input() Python 3.x에서 input()는 Python 2.x 의 raw_input() 역할을 대신하여 입력 값을 문자열로 받음 -> 다른 타입을 넘겨주기 위해선 형변환이 필요 Python 3.x로 넘어오면서 모든 변수가 객체(object)로 처리됨에 따라서 결과 값도 type에서 class로 바뀌게 됨 input() 내장 함수는 parameter로 prompt messag.. 2022. 12. 15.
[Docker] Docker Swarm 이란? Docker Swarm vs K8S 1. Docker Swarm이란 k8s 과 마찬가지로 컨테이너 오케스트레이션(Container Orchestration) 도구 2. docker swarm 등장 배경 도커(Docker)는 단일 호스트 안에서 컨테이너 기반 애플리케이션을 관리할 때 유용한 도구인데, 단일 호스트로 구성된 환경은 확장성(Scalability)과 가용성(Availabilty), 그리고 장애 허용성(Fault Tolerance) 측면에서 많은 한계점을 가진다. 애플리케이션 이용자가 늘어나면서 호스트의 가용 시스템 자원이 바닥나게 되거나, 어떠한 이유로든 호스트가 일시적으로 작동 불능의 상태가 된다면, 아마도 애플리케이션의 서비스가 곧바로 중단되는 상황을 맞이하게 될 것이다. 그런데 여러 대의 호스트에서 컨테이너를 관리하려니, 도.. 2022. 12. 3.
[회고] 2022년을 마무리하며 회고 아직 한달가량 남았지만, 매년 말 쯔음 한 해를 마무리하며 해온 것과 드는 생각들, 내년의 계획 같은 것을 적어보려고 합니다. 작녀에는 회고글을 못적었기 때문에 작년의 기억을 더듬어 정리하는 시간도 갖기로 했습니다. 회고성 글이기 때문에 잘 정리된 글이 아닌 생각나는 대로 두서없이 쓰는 글의 형태로 포스팅 하려고 합니다. 1. 해온 것들 1) 2021년 첫 직장생활을 하며 어떤 방향으로 나아갈지 정하게 된 한 해였던 것 같습니다. 운이 좋게도 첫 프로젝트를 Cloud + Big data를 다룰 수 있는 프로젝트로 투입돼서 정말 다양한 경험을 해볼 수 있었는데, 그래서 데이터엔지니어링 이라는 분야에 더 흥미를 느끼고 확실한 진로를 정할 수 있게 되었습니다. AWS 정말 많은 AWS 온라인 강의, Hands.. 2022. 11. 24.
[Network] SSL(Secure Sockets layer) 란? 사용되는 곳, 작동 원리, 인증과 인증서 유형 1. SSL 암호화 기반의 인터넷 보안 프로토콜 인터넷 통신의 개인정보 보호, 인증, 데이터 무결성을 보장하기 위해 Netscape가 1995년 처음으로 개발 SSL은 TLS의 전신(SSL은 여러 번 개선되어 매번 성능이 개선됐고, 1999년에 SSL은 TLS로 업데이트) 프로토콜이란? 복수의 컴퓨터 사이나 중앙 컴퓨터와 단말기 사이에서 데이터 통신을 원활하게 하기 위해 필요한 통신 규약. 신호 송신의 순서, 데이터의 표현법, 오류(誤謬) 검출법 등을 정함. 통신 규약 TLS란? 인터넷 커뮤니케이션을 위한 개인 정보와 데이터 무결성을 제공하는 보안 프로토콜 2. 사용하는 곳 SSL/TLS를 사용하는 웹사이트의 URL에는 HTTP 대신 HTTPS가 있음 3. SSL 작동원리 SSL은 높은 수준의 개인정보 .. 2022. 11. 6.
[Network] Bastion Server(Host)란? 아키텍처 및 특징,실습하기 (feat. VPC) 1. Bastion Server(Host)란? Bastion(수호자, 보루, 요새) 배스천 호스트(Bastion Host)란 침입 차단 소프트웨어가 설치되어 내부와 외부 네트워크 사이에서 일종의 게이트 역할을 수행하는 호스트(외부와 통신이 가능한 보안을 위한 중간다리 역할) Proxy 또한 같은 의미 (대리인, 내통자) 배스천 호스트는 내부 네트웍과 외부 네트웍 사이에 위치하는 게이트웨이이다. 보안대책의 일환으로 사용되는 배스천 호스트는, 내부 네트웍을 겨냥한 공격에 대해 방어하도록 설계되었다. 네트웍의 복잡도와 구성에 따라 다르지만, 단일 배스천 호스트 그 자체로서 방어를 할 수도 있으며, 또는 다른 방호 계층과 함께 대형 보안 시스템의 일부가 되기도 한다. 배스천 호스트는 접근 제어 기능과 더불어 게.. 2022. 11. 1.
[OS] CMD prompt vs Power shell , Bash vs Shell script 터미널들 차이점 정리 1. CMD prompt VS Power shell CMD prompt Power shell 출시 연도 1981 2006 사용 용도 Batch 명령어 Batch명령어 + PowerShell cmdlet 별칭 별칭 사용불가 별칭 사용가능 ISE유무 CMD line interface만 있고, 별도의 ISE가 없음 ISE가 있음 Linux 지원 Linux지원 불가능 Linux지원 가능 2. Bash VS Shell script Bash Shell script 출시연도 1989 1989 문법 bash script 문법 Shell script 문법 사용되는 OS Linux지원 가능 + Mac에도 사용가능 + window에도 설치 가능 (linux에 Bash가 있다면, windows에는 cmd 와 powershel.. 2022. 10. 31.
[Kubernetes] kubespray with ansible로 aws EC2에 kubernetes cluster 설치하기(ubuntu 18.04 LTS) EC2 서버 스펙 Master OS image: ubuntu 18.04 LTS Instance type: t2.medium( 2vCPU, 4GiB Mem) volume: 20GiB root volume port : 22(ssh),6443(API),2380,2370(etcd) kubernetes 실행에 필요한 필수 포트(SG group 설정,중요★) https://kubernetes.io/ko/docs/reference/ports-and-protocols/ 포트와 프로토콜 물리적 네트워크 방화벽이 있는 온프레미스 데이터 센터 또는 퍼블릭 클라우드의 가상 네트워크와 같이 네트워크 경계가 엄격한 환경에서 쿠버네티스를 실행할 때, 쿠버네티스 구성 요소에서 kubernetes.io +BGP peering을 위한 .. 2022. 10. 9.
[Kubernetes] MiniKube + docker ubuntu 20.04에 설치하기 이번 포스트에는 virtual box 에 ubuntu 20.04설치하고, docker, minikube를 설치해보겠습니다. virtual box로 ubuntu20.04 서버 구성이 안되신 분들은 아래의 포스트를 참조해주세요. 2021.04.26 - [BigData/Hadoop] - [Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기 [Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기 1.virtual box를 다운로드한다. www.virtualbox.org/wiki/Downloads Downloads – Oracle VM V.. 2022. 9. 23.
[Python] pandas vs pyspark 사용 및 코드 비교 이번 포스트에는 pyspark과 pandas를 쓰임새를 비교 해보고, pyspark의 코드를 pandas코드로 옮겨보고 비교해보겠습니다. 1. Pandas vs Pyspark 언제쓸까? pandas와 spark는 dataframe이라는 SQL 테이블 또는 Excel 스프레드 시트에서와 같이 이질적으로 유형이 지정된 열이있는 데이블 형식 데이터를 다루게 될 때 아주 적합함 대부분의 데이터처리에는 pandas 라이브러리를 통해 해결했었는데, pandas와 spark의 가장 큰 차이는 핸들링하는 데이터의 양의 크기 pandas는 통상적으로 spark보다 작은 데이터 처리에 대해서는 속도가 빠르다고 하는데, 10GB이상의 파일 처럼 파일의 크기가 커지게 되면, pandas는 메모리용량의 부족으로 인해 성능이 저.. 2022. 9. 22.
728x90

티스토리툴바