이것이 점프 투 공작소

다른 AWS 계정에서 사용하는 S3 데이터를 옮겨야하는 상황이 발생했습니다. 약 5개 정도의 S3를 옮기면 되어서, 간단하게 AWS CLI를 통해 데이터를 옮기는게 좋다는 생각이 들었습니다. AWS CLI S3 API를 활용한 데이터 이전 흐름도 오른쪽 : 계정 A (목적지 버킷) 왼쪽 : 계정 B (소스 버킷) 1. 계정 A에서 S3에 대한 정책 생성 계정A에서 목적지 버킷에 대한 GET,PUT,LIST 권한, 소스버킷에 대한 LIST, GET 권한이 존재하는 정책을 생성 후 계정 A의 사용자에게 부여합니다. s3-migration-policy라는 정책을 생성 아래 JSON을 이용해 생성하였습니다. 아래 JSON은 해당 S3 정책에 대한 예시입니다. { "Version": "2012-10-17", "S..

일반적으로 DB는 Private Subnet 즉 인터넷 엑세스가 불가능한 서브넷에 생성합니다. 하지만 로컬에서 Private Subnet에 있는 DB에 대한 엑세스가 필요하기에 Session Manager와 Bastian Host 이용하여 DB에 접속하는 방법을 정리하려 합니다. EC2 Session Manager 연결 1. EC2 UserData에 스크립트 추가 Bastian Host UserData에 Session Manager 설치 스크립트를 추가합니다. #!/bin/bash yum update -y yun install -y https://s3.amazonaws.com/ec2-downloads-windows/SSMAgent/latest/linux_amd64/amazon-ssm-agent.rpm y..

S3는 기본적으로 Public리소스라서 Private하게 접근하려면 VPC엔드포인트를 이용하여 접근해야합니다. Gateway Endpoint, Interface Endpoint 2가지 방법으로 Private하게 접속 할 수 있습니다. Interface Endpoint 와 Gateway Endpoint 2가지 방법으로 S3와 private한 연결을 만들 수 있습니다. 두 Endpoint모두 S3와 Private하게 통신을 할 수 있는 방식이지만 몇가지 차이점이 있습니다. 대표적으로는 Interface Endpoint는 On-Prem등 외부 접속을 허용하고, Gateway Endpoint는 허용하지 않는 차이점이 있습니다. Interface Endpoint란? 예전에는 S3에 private하게 접속하려면 G..

S3 안의 데이터에 대한 백업이나 동기화가 필요한 순간이 있습니다 그럴때 S3 Replication과 S3 Batch 작업을 통해 구현 가능합니다. 즉 S3 Batch와 S3 Replication 을 이용하면 S3에 대한 복제와 지속적인 동기화가 가능합니다. AWS S3 복제 (Replication) 란? S3 복제를 사용하면 CRP (교차 리전 복제) 와 SRR (동일 리전 복제) 두가지 방법으로 S3 데이터를 복제 할 수 있습니다. 다른 계정간 S3 복제 또한 가능합니다. 데이터의 백업을 생성하거나, 더 효율적인 S3 스토리지 클래스를 사용하는 등 다양한 목적을 위해 사용됩니다. S3 Replication 생성 S3 복제를 하기 위해선 원본 버킷에 복제 규칙을 생성해야합니다. S3 -> 관리 -> 복..

DNS Zone이란? DNS Zone은 도메인 네임스페이스라고도 합니다. DNS는 트리구조로 되어있는데 최상위에 root 도메인, TLD(Top Level Domain), 서브 도메인으로 이루어져있습니다. 각 도메인 영역마다 별도의 Zone을 만들어서 관리 할 수 있습니다. 예를 들어 TLD인 google.com, 서브도메인 a.google.com , b.google.com 마다 각각의 Zone을 가질 수 있습니다. 영역에 대한 모든 정보는 DNS 영역 파일이라는 이름으로 저장됩니다. 네임서버와 DNS 레코드란? 사용자가 도메인을 질의하거나, 도메인을 통해 통신할때, 도메인의 네임서버에 질의를 하여 설정된 값을 찾아 통신을 하게 합니다. 이때, 네임서버에 설정된 값들을 DNS레코드라고 합니다. 각 DNS..

업무중 AWS VPC와 On-Prem사이 DX를 통해 전용선 연결이 필요하게 되었습니다. DX를 연결하며 진행하였던 방법을 공유하려합니다. Direct Connect (DX)란? on-prem의 리소스와 AWS 내의 VPC를 전용선으로 연결하기 위한 AWS의 서비스입니다. 전용선으로 연결하기에 인터넷을 통한 연결보다 안전하게 통신 할 수 있습니다. AS와 ASN AWS DX를 이해하기 위해서는 AS와 ASN, BGP프로토콜을 알아야합니다. AS (Antonomous System) Antonomous System의 약자로 인터넷에서 라우팅을 관리하고 제어하는 단위이며, 네트워크의 도메인입니다. ISP, 기업의 on-prem 네트워크, 클라우드 제공자 (AWS,GCP)등이 AS를 가집니다. 각 AS는 ASN..

프론트나 백엔드 서버를 구축하는 경우, 보안을 위해 특정 IP에서만 접속을 제한해야하거나 다른 이유들로 방화벽을 구축해야하는 경우가 있습니다. AWS에서는 WAF라는 서비스를 통해 방화벽을 구축 할 수 있습니다. WAF(Web Application Firewall)란? AWS WAF는 Cloudfront와 ALB, API Gateway, App Spec 의 서비스에 연결 하여 방화벽 역할을 할 수 있습니다. 규칙(rule)을 통해 허용 및 차단을 설정 하며 AWS 관리형 규칙, 사용자 지정 규칙, 마켓플레이스 규칙 총 3가지의 규칙이 있습니다. 1. 관리형 규칙 관리형 규칙은 WAF의 기본적으로 제공되는 3가지 규칙입니다. OWASP 선정 10 대 보안 위협에 제시된 일반적인 위협과 보안 취약성 일부를 ..

AWS인프라를 운영하다 보면 서로 다른 VPC 계정간에 VPC를 이용한 통신이 필요할 일이 종종 발생합니다. VPC peering을 통해 연결하는것도 좋은 방법이지만, 연결되는 커넥션이 많아질수록 관리도 어렵고 라우팅 테이블이 복잡해지기에더 쉬운 관리와 확장성을 가진 Transit Gateway를 더 많이 사용하는 것 같습니다. Transit Gateway(TGW)란? VPC 와 VPC , VPC와 온프레미스간에 네트워크를 상호 연결 할 수 있도록 만들어주는 네트워크 전송허브입니다. TGW에 여러 네트워크들을 연결하여 각 네트워크간 통신을 시켜주는 일종의 라우터? 라고 이해하시면 편할 것 같습니다 구성 요소 Transit Gateway는 크게 3가지의 구성 요소를 가집니다. 한글로 해석해서 쓰게되니 좀 ..

여러 vpc에서 Private Endpoint를 공유하는 방법에 대해 포스팅하려고합니다. 본 포스팅은 당근마켓 SRE MEET UP에서 공유된 내용을 보고 혼자서 실습해보는 형태로 진행해보았습니다 https://www.youtube.com/watch?v=tBZBYozvTO8 PrivateEndpoint를 생성할 VPC와 PrivateEndpoint를 사용할 VPC 생성 먼저 PrivateEndpoint를 생성하고 제공할 producer-vpc와 producer-vpc에서 privateEndpoint를 공유받을 consumer-vpc를 생성합니다. 각 VPC에서 PrivateEndpoint를 조회할 EC2생성 각 vpc의 public subnet에 PrivateEndpoint를 조회할 EC2를 생성합니다...

Gitlab에서 CodeDeploy를 이용해 EC2 개발서버에 배포하던중 최초 성공 이후, 그 다음 배포에서 계속 CodeDeploy의 ApplicationStop에서 에러가 지속적으로 발생하였습니다.. Appspec.yml에 ApplicationStop에 해당하는 kill_process.sh 스크립트 내용를 바꾸었는데 계속 최초 성공하였을때 스크립트가 실행되고 있었습니다. 혹시 캐시로 스크립트를 실행시키나..? 라는 생각이들어 CodeDeploy의 파이프라인을 찾아보았습니다. CodeDeploy LifeCycleHook LifeCycleHook에 대한 공식문서를 살펴보면 (아래 글은 LifeCycleHook에 대한 AWS 공식문서를 가져왔습니다.) 1. ApplicationStop 이 배포 수명 주기 ..