[AWS] EMR: Hadoop

#AWS

AWS EMR은 Elastic Map Reduce의 준말로, 빅데이터용 데이터베이스 시스템을 제공하는 서비스다.

하둡, SPARK, HBase, Presto 등을 제공한다.

비용

EMR은 EC2, EKS, Outposts, 서버리스의 4가지 방식으로 매니징을 할 수 있는데, 방법에 따라 비용이 다 다르다.

그리고 이 중에 서버리스는 아직 버지니아 리전에서만 평가판의 형태로 제공되는듯하다.
https://pages.awscloud.com/EMR-Serverless-Preview.html

먼저 클러스터를 생성해보자.
난 하둡을 사용할 것이다.

인스턴스 사이즈를 잘 고르고, 접속할때 사용할 키 페어를 넣어준다.

그럼 이런식으로 생성이 될 것이다.

위에 초록글씨가 "대기" 정도로 뜨면, 잘 생성된 것이다.

EMR의 경우에는 아무데서나 public access가 가능하다.
보안 그룹에 들어가서 내 아이피로 ssh 포트를 전부 열어주고,

저 퍼블릭 dns로 ssh 연결을 시도하면 된다.

키 페어도 필요하다.

그렇게 해서 들어가지면

잘 세팅된 것이다.

이제 여기서 hadoop 환경으로 함께 설치된 도구들을 전부 사용할 수 있다.

그렇다.