본문 바로가기
728x90

Cloud/AWS Cloud Computing16

[AWS] Boto3 사용하기 1. S3 다루기 1. 사전 준비 Client low-level 인터페이스 service description에 의해 만들어짐 botocore 수준의 client를 공개(botocore는 AWS CLI와 boto3의 기초가 되는 라이브러리) AWS API와 1:1 매핑됨 메소드가 스네이크 케이스로 정의되어 있음 Resource high-level, 객체지향적 인터페이스 resource description에 의해 만들어짐 식별자(identifier)와 속성(attribute)을 사용 자원에 대한 조작 위주 2. 버킷 생성 import logging import boto3 from botocore.exceptions import ClientError class AWSBoto3(): def __init__(self): sel.. 2023. 4. 12.
[AWS] s3 vs s3a vs s3n 차이 정리 s3 vs s3a vs s3n s3 s3a s3n 공통점 ○ 하둡의 저장소가 hdfs가 아닌, AWS s3일 때 클라이언트를 제공하는 파일시스템 종류(s3에 읽기,쓰기를 가능하게 해주는 어댑터) ○ AWS s3에 저장하게 해주는 하둡의 각각 다른 파일시스템 URI s3:// s3a:// s3n:// 파일 크기 제한 5GB보다 클 수 있지만 다른 S3 도구와 상호 운용할 수 없음 큰 파일(5GB 제한 없음), 고성능 작업 등을 지원 가능 단일 파일 크기에 대한 5GB 제한있음 특징 ○ S3가 지원하는 하둡 호환 블록 기반 파일 시스템 ○ 파일이 포함된 기존 버킷을 사용하거나 다른 파일을 동일한 버킷에 쓰지 않아야 함 ○ HDFS에 있는 것처럼 블록으로 저장 ○ 파일 시스템 전용 버킷이 필요 ○ 읽기 성능은.. 2023. 2. 23.
[AWS] VPC 정리 2. AWS VPC와 연관된 개념(gateway, VPC endpoint, VPC Peering, traffic mirroring, VPN 연결, EIP + Direct Connect) 이번 포스트에서는 VPC와 연관된 용어와 개념을 정리해보겠습니다. VPC 포스트 1편 ↓ https://spidyweb.tistory.com/465 1. NAT 게이트웨이, NAT 인스턴스 NAT 게이트웨이 및 NAT 인스턴스는 IPv4에만 적용되고 IPv6에는 적용되지 않으므로 인바운드 차단에는 올바르지 않습니다. 이러한 두 구성 요소는 프라이빗 서브넷의 EC2 인스턴스가 인터넷에 통신하고 인바운드 트래픽을 방지할 수 있지만 IPv6이 아닌 IPv4 주소를 사용하는 인스턴스로만 제한 됩니다. 1) NAT 게이트웨이 Private subnet이 인터넷과 통신하기 위한 outbound instance Private network가 외부에서 요청되는 inbound는 필요 없더라도 인스턴스의 펌웨어나 혹은 주.. 2023. 2. 8.
[AWS] VPC 정리 1. AWS VPC 개념 및 용어 정리 이번 포스트에는 VPC와 관련된 용어, 개념을 정리하고 2편에서는 관련된 용어와 사용 예시에 대해 정리하겠습니다. 3편에서는 직접 VPC를 만들고 확인해보는 실습을 해보겠습니다. VPC 2편 link ↓ https://spidyweb.tistory.com/442 함께 보면 좋을 public, private subnet 나누기 페이지는 아래의 링크를 참조해주세요. 2022.11.01 - [Network & Server] - [Network] Bastion Server(Host)란? 아키텍처 및 특징,실습하기 (feat. VPC) [Network] Bastion Server(Host)란? 아키텍처 및 특징,실습하기 (feat. VPC) 1. Bastion Server(Host)란? Bastion(수호자, 보.. 2023. 2. 8.
[AWS] Landing Zone과 AWS Control Tower 정리 1. Landing Zone 1) 개념 랜딩존의 개념적인 의미는 모래 밭이 아닌 탄탄하고 안전한 착륙 지점 클라우드 사용 환경 또는 학장 가능하고 유연한 아키텍처 설계를 위한 시작점 multi account 환경과 보안적으로 안전하게 설계된 클라우드 아키텍처 컨셉 또는 패턴 → 자동화,표준화된 계정 생성 2) 필요한 이유 서비스 계정, 공통계정, 관리계정, 네트워크 계정 등의 분할이 필요 IT 운영환경에 의해 다중 계정이 필요 → 개발, 프로덕션 분리해야 함 비용 감사 / 통제 서비스 네트워크 보안 공통적으로 사용하는 기능은 표준화와 자동화에 따른 공통 기능 재사용이 필요 2. AWS Control Tower 1) 개념 AWS 랜딩존 솔루션을 사용하기 쉽도록 서비스화한 상품, 랜딩 영역의 설정을 자동화 .. 2023. 1. 31.
[AWS] IAM vs Lakeformation 권한 관리 차이 정리 1. 프로젝트를 하면서 생긴 이슈 + 해결 IAM user에 아래와 같이 athena 및 glue 권한을 다 받았는데 database 및 table list 조회 불가 1) 기존에 받은 IAM 권한 [권한 및 정책] lakeformation:GetDataAccess lakeformation:GetMetadataAccess athena:* "glue:CreateDatabase", "glue:UpdateDatabase", "glue:DeleteDatabase", "glue:GetDatabase", "glue:GetDatabases", "glue:CreateTable", "glue:UpdateTable", "glue:DeleteTable", "glue:GetTable", "glue:GetTables", "gl.. 2023. 1. 31.
[AWS] Athena 테이블 생성, 데이터 붓기 (CREATE Table, CTAS, INSERT INTO SELECT) 이번 포스트에는 Athena를 통해 Glue Catalog에 데이터베이스와 테이블을 생성하는 방법을 포스팅 하겠습니다. *IAM에서 S3, Athena, Glue에 대한 FullAccess 정책을 부여 받았다고 가정하고 실행 1. 일반적인 EXTERNAL TABLE 생성 1) 결과 파일 s3경로 지정 settings의 manage 클릭 manage settings의 browse s3로 결과가 담길 S3 URI를 지정 2) database 생성 문법 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT 'database_comment'] [LOCATION 'S3_loc'] [WITH DBPROPERTIES ('property_name' = 'pr.. 2023. 1. 20.
[AWS] RDS(Relational Database Service) vs AuroraDB (feat. MySQL, PostgreSQL) 1. RDS(Relational Database Service)란? 1) 정의 클라우드에서 배포,설치,패치,백업을 쉽게만드는 관계형 DB를 관리된 SQL DB로 서비스한다.(아마존 클라우드에서 관계형 데이터베이스를 사용할 수 있는 서비스)Aurora, MySQL,PostgreSQL,MariaDB,Microsoft SQL Server 그리고 Oracle DB 엔진을 지원한다. (Aurora가 포함되는 개념) 2) 특징 RDS 구축 형태 기존 데이터베이스 아키텍처를 중심으로 완전히 관리되는 추상화 계층을 제공 RDS 내에서 데이터베이스 플랫폼은 EC2에서 수동으로 수행하는 것처럼 구축 EC2인스턴스는 적절한 Amazon Machine Image (AMI)에서 프로비저닝 되고, EBS(Elastic Block.. 2022. 12. 28.
[AWS] ec2 instance stop vs terminate 인스턴스 중지와 종료의 차이 특성 재부팅 중지/시작(Amazon EBS 기반 인스턴스에만 해당) Terminate 호스트 컴퓨터 인스턴스가 동일 호스트 컴퓨터에서 유지됩니다. 인스턴스가 새 호스트 컴퓨터로 이동됩니다(경우에 따라 현재 호스트에 남아 있음). 없음 프라이빗 및 퍼블릭 IPv4 주소 이러한 주소는 동일하게 유지됩니다. 인스턴스가 관련 프라이빗 IPv4 주소를 유지합니다. 중지/시작 중에 변경되지 않는 탄력적 IP 주소가 지정되지 않는 한, 인스턴스가 새 퍼블릭 IPv4 주소를 가져옵니다. 없음 탄력적 IP 주소(IPv4) 탄력적 IP 주소가 인스턴스와 연결된 상태로 유지됩니다. 탄력적 IP 주소가 인스턴스와 연결된 상태로 유지됩니다. 인스턴스로부터 탄력적 IP 주소 연결이 끊깁니다. IPv6 주소 주소가 동일하게 유지됩.. 2022. 2. 11.
728x90

티스토리툴바