[AWS] Opensearch

#AWS

AWS Opensearch는 AWS에서 제공하는 자체적인 Elasticsearch 지원 서비스다.

Opensearch에는 현재 2가지 실행 옵션이 있다.

AWS의 elasticsearch 포크인 opensearch.
원본 오픈소스인 elasticsearch 엔진.

Elasticsearch에서 라이센스를 바꾸면서 오픈소스 전쟁을 시작하자, 7.11(2021년 2월)의 이전 버전을 기준으로 포크해서 유지보수하고 있는게 opensearch 엔진이다.
Elasticsearch가 근래에 다시 오픈소스화되긴 했는데, 이미 각자 먼 길을 떠나서인지 다시 병합할 생각은 없을 것 같다. 많은 부분을 공유하긴 하지만 독자적으로 발전하고 있다.

elasticsearch 원본 엔진은 구 버전인 7.10까지만 지원된다. 현 시점에서 elasticsearch 버전이 8.*대이니, 좀 뒤쳐진 셈이다. 라이센스도 돌아왔으니 업데이트가 될 수도 있지 않을까?

비용

https://aws.amazon.com/ko/opensearch-service/pricing/

이것도 온디맨드(프로비저닝 모드)와 서버리스 모드가 따로 있다.

근데 서버리스가 딱히 싼건 아니고, 자동으로 스케일링된다는게 다른거다.

게다가 말이 서버리스지, 사용량에 따라서 OCU 머신을 자동으로 프로비저닝해주는 정도가 다다.
하나의 OCU 머신은 메모리가 6gb 정도고, 비용도 비싸다.

온디맨드는 원하는 스펙으로 고정으로 할당해서 쓸 수 있는 형태다. ec2와 거의 비슷하다.

컴퓨팅 레벨별로 시간당 요금이 나오고

스토리지와 데이터 전송 등의 잡비용도 마찬가지로 부과된다.
EC2에 비교하면 더 비싸긴 비싸다.

예를 들어, t3.small 레벨은 EC2에선 0.026 달러 정도인 반면, t3.small.search는 0.056 달러다.
EBS 범용 SSD gp3 스토리지가 0.0912달러인데, Opensearch 볼륨은 0.1391달러다.

인스턴스 타입 비용은 좀 비싸긴 한데, 다른 DB 서비스 대비해서 특별히 비싼건 아니다.
RDS PostgreSQL의 동일 타입인 db.t3.small와 비교하면, 똑같이 0.056달러다. 동등하게 비싸다.

현명하게 잘 선택하길 바란다.

클러스터 생성해보기 (Elasticsearch)

먼저 elasticsearch 엔진을 통해서 만들어보겠다.

이름 고르고, 커스텀 모드로 설정하도록 하자.
손쉬운 생성으로 하면 겁나 비싼 스펙으로 맞춰준다.

고가용성이 필요하다면 켜준다. 켜면 당연히 비용이 더 늘어난다.

이게 엔진이다.
구버전일지라도 Elasticsearch와의 완벽한 호환이 필요하다면 Elasticsearch를, 더 뛰어난 성능이 필요하다면 opensearch를 선택하면 된다.

그리고 노드 갯수를 정한다.

난 그냥 2개로 했다.

이건 일 안하고 관리만 하는 마스터 노드를 설정하는 부분이다.
가용성이 중요하다면 이걸 홀수로 구성하는 것이 권장사항이다. 난 무시하겠다.

네트워크는 그냥 퍼블릭으로 열었다.
난 귀찮아서 그냥 한거고, 프로덕션 레벨에서는 VPC 걸고 내부통신만 하도록 구성하는 것을 권장한다.

그래서 이렇게 옵션이 나왔다.

이것도 카프카처럼 프로비저닝에 한세월 걸린다.
30분 정도는 걸린거같다.

키바나 접속하기

보통 Elasticsearch 자체의 상태를 모니터링하거나, 운영을 할때는 키바나 대시보드를 통해 제어하는 경우가 대부분이다. 그래서 키바나도 기본으로 제공한다.

클러스터가 생성되었다면 이렇게 URL이 생길텐데

아무 설정 없이 그냥 들어가면 권한때문에 아무것도 안될 것이다.

보안 구성을 편집해서 인바운드를 어떻게든 허용해줘야 한다.
이건 네크워크 구성에 따라서 조금 다르지만, 지금 나처럼 퍼블릭 액세스 열고 대충 쓰는 경우에는 IP 기반으로 허용을 여는게 편하다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "*"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:ap-northeast-2:계정ID:domain/클러스터명/*",
      "Condition": {
        "IpAddress": {
          "aws:SourceIp": [
            "아이피"
          ]
        }
      }
    }
  ]
}