eunzae's develog
[EC2] 데이터 파이프라인 구축을 위한 VM 생성하기(EC2 리눅스 프리티어 생성하기) 본문
[EC2] 데이터 파이프라인 구축을 위한 VM 생성하기(EC2 리눅스 프리티어 생성하기)
eunzae 2021. 12. 11. 21:07데이터 파이프라인 구축을 해보기 위해서 EC2 프리티어를 생성했다.
EC2란?
Amazon ec2(Amazon Elastic Compute Cloud)
- 인스턴스: 가상 컴퓨팅 환경
- Amazon 머신 이미지(AMI): 서버에 필요한 운영체제와 여러 소프트웨어들이 적절히 구성된 상태로 제공되는 템플릿으로 인스턴스를 쉽게 만들 수 있습니다.
- 인스턴스 유형: 인스턴스를 위한 CPU, 메모리, 스토리지, 네트워킹 용량의 여러 가지 구성 제공
- 키 페어를 사용하여 인스턴스 로그인 정보 보호(AWS는 퍼블릭 키를 저장하고 사용자는 개인 키를 안전한 장소에 보관하는 방식)
- 인스턴스 스토어 볼륨: 임시 데이터를 저장하는 스토리지 볼륨으로 인스턴스 중단, 최대 절전 모드로 전환 또는 종료 시 삭제됨
- Amazon Elastic Block Store(Amazon EBS), 즉 Amazon EBS 볼륨을 사용해 영구 스토리지 볼륨에 데이터 저장
- 인스턴스와 Amazon EBS 볼륨 등의 리소스를 다른 물리적 장소에서 액세스할 수 있는 리전 및 가용 영역
- 보안 그룹을 사용해 인스턴스에 연결할 수 있는 프로토콜, 포트, 소스 IP 범위를 지정하는 방화벽 기능
- 탄력적 IP 주소(EIP): 동적 클라우드 컴퓨팅을 위한 고정 IPv4 주소
- 태그: 사용자가 생성하여 Amazon EC2 리소스에 할당할 수 있는 메타데이터
- AWS 클라우드에서는 논리적으로 격리되어 있지만 원할 때마다 고객의 네트워크와 간편히 연결할 수 있는 가상 네트워크인 Virtual Private Clouds(VPC)
즉 EC2는 가상컴퓨터라고 생각하면 된다. 자세한 내용은 하단 링크 참조
https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/concepts.html
Amazon EC2이란 무엇입니까? - Amazon Elastic Compute Cloud
Amazon EC2이란 무엇입니까? Amazon Elastic Compute Cloud(Amazon EC2)는 Amazon Web Services(AWS) 클라우드에서 확장 가능 컴퓨팅 용량을 제공합니다. Amazon EC2를 사용하면 하드웨어에 선투자할 필요가 없어 더 빠르
docs.aws.amazon.com
프리티어 생성방법
1. AWS 웹사이트 접속 후 콘솔 로그인
클라우드 서비스 | 클라우드 컴퓨팅 솔루션| Amazon Web Services
AWS IoT에 대한 새로운 소식 산업, 소비자, 상업 및 자동차 워크로드에 대한 IoT 데이터를 수집, 저장 및 분석하는 새로운 방식에 대해 알아보세요. 발표 내용 살펴보기
aws.amazon.com
2. 로그인 후 검색창에 'EC2' 검색 후 서비스 접속
3. 하단의 인스턴스 시작 클릭
4. 나는 리눅스 가상컴퓨터를 생성할 것 이므로 프리티어가 가능한 첫번째 Amazon Linux 2 선택
5. 프리티어가 생성 가능한 t2그룹 두번째 항목(t2.micro) 선택
각각 인스턴스의 특징은 하단 링크 참조
https://aws.amazon.com/ko/ec2/instance-types/
Amazon EC2 인스턴스 유형 – Amazon Web Services
Internet Explorer에 대한 AWS 지원이 07/31/2022에 종료됩니다. 지원되는 브라우저는 Chrome, Firefox, Edge 및 Safari입니다. 자세히 알아보기
aws.amazon.com
6. 인스턴스 세부 정보 구성. 나는 따로 건드리지 않았다.
7. 스토리지 추가. 이부분도 따로 건드리지 않았다.
8. 태그는 꼭 추가. 추후 가격 튜닝을 할 시, 태그는 중요한 요소.(웹 클러스터 별 구분을 통해 팀 별, 프로젝트 별 계산을 위해)
9. 보안 그룹 구성(인바운드: EC2를 띄우는데 어떤 포트를 통해 들어갈 수 있는지를 열어준다. 아웃바운드: 서버에서 인터넷쪽으로 열어줌.)
10. 인스턴스 시작 검토. 지금까지 설정한 내용들을 검토.
11. 키 페어 생성. 접속을 위한 키 페어 생성 후 키 페어 파일 다운로드.(region을 꼭 넣어주자)
인스턴스 실행
1. 인스턴스 목록에서 연결할 인스턴스 선택 후 우측 상단 '연결' 클릭
2. SSH 클라이언트 클릭(한국어를 사용하기 위해) 후 3. 명령 복사
3. (맥 OS 기준) 파일을 키페어 폴더로 이동하고, 파일의 속성을 변경해준다.
4. 마지막 퍼블릭 DNS를 복사하여 터미널에 붙여넣으면 접속 완료.
sudo yum update -y
sudo yum install git 도 해주자.
'Database > Data Engineering' 카테고리의 다른 글
쏘카 신입 데이터 엔지니어 (0) | 2021.12.29 |
---|---|
[Python]웹 로그 데이터셋 만들기 (0) | 2021.12.17 |
데이터엔지니어 (0) | 2021.12.09 |
Apache Kafka(Kafka install on EC2) (0) | 2021.12.09 |
쏘카 데이터 그룹 - 데이터 엔지니어링 팀이 하는 일 (0) | 2021.12.09 |