[AWS] Cloudsearch

cloudsearch는 elasticsearch와 비슷한 검색엔진 서비스다. 데이터를 때려넣으면 인덱싱을 기똥차게 해줘서 검색을 위한 복잡한 조건의 쿼리를 쏘는것에 최적화되어있다.

solr 기술 기반이라고 한다.

전반적인 사용법 자체도 elasticsearch와 유사하다. elasticsearch를 사용해본 경험이 있다면 쓰는게 그리 어렵지만은 않을 것이다.

비용

https://aws.amazon.com/ko/cloudsearch/pricing/

온디맨드는 없고 기본적으로 다 인스턴스를 프로비저딩해서 사용하는 방식이다.

그래서 비용의 대부분은 인스턴스 비용으로 나간다.

다른 리전들은 사이즈가 더 다양하게 지원이 되는데, 알다시피 서울인 기술 지원 수준이 많이 딸려서 3개밖에 없다..

서울 기준으로 하면 최소 사이즈에 한달 20만원 정도 된다.

도메인 만들기

Cloudsearch는 elasticsearch에서 말하는 "인덱스" 단위를 "도메인"이라고 부른다.
도메인을 만드는 것부터가 시작이다.

도메인 이름과 인스턴스 크기, 레플리카 수를 정해준다.

비용표에는 small이 없던거같은데 왜인지는 모르겠지만 만들때는 있다.
그리고 레플리카 숫자는 그냥 테스트용이라 1개로 했지만, 프로덕션 레벨에서는 더 늘려야 할 것이다.

인덱스는 선택 구성으로 하고

인덱스를 하나하나 정의해준다.

여기에서 정의하는 필드들이 인덱싱에 들어가게 된다.
그래야 나중에 꺼내올때 조건이나 정렬을 괴상하게 걸어도 기똥찬 성능으로 가져올 수가 있다.

이건 나중에도 얼마든지 추가하거나 변경할 수 있는 부분이다. 러프하게 정의해도 된다.

정책은 패스하고

만들어주면 된다.

프로비저닝에는 시간이 제법 걸린다.

데이터 밀어넣기

cloudsearch는 인덱스(도메인)에 들어있는 개별의 데이터 행들을 document라고 부른다. 이건 elasticsearch와 같다.
데이터를 넣는건 s3나 dynamoDB를 통해서도 할 수 있지만, aws sdk의 API를 사용해서도 할 수 있다.

나는 Lambda를 하나 만들고 Cloudsearch 권한을 부여해서 밀어넣어봤다.
대강 이런식이면 된다.

const aws = require('aws-sdk');
const cloudsearch = new aws.CloudSearchDomain({
    apiVersion: '2013-01-01',
    endpoint: 'doc-test-search-wjjmz5lgcxvgmgnugupjatl7ie.ap-northeast-2.cloudsearch.amazonaws.com',
});

exports.handler = async (event) => {
    await cloudsearch.uploadDocuments({
        contentType: 'application/json',
        documents: JSON.stringify([
            {
                type: "add",
                id:   "1",
                fields: {
                    name: '구찌 가디건', 
                    description: '구찌의 아스트랄한 매력이 돋보이는 명품 가디건입니다.',
                    price: 5000, 
                    category_list: [1, 2],
                }
            },
            {
                type: "add",
                id:   "2",
                fields: 
                {
                    name: '구찌 핸드백', 
                    description: '구찌의 아스트랄한 매력이 돋보이는 명품 핸드백입니다.',
                    price: 6000, 
                    category_list: [1, 5],
                },
            }, 
            {
                type: "add",
                id:   "3",
                fields: 
                {
                    name: '샤넬 핸드백', 
                    description: '샤넬의 엘레강스한 매력이 돋보이는 명품 핸드백입니다. 구찌보다 낫죠',
                    price: 1500, 
                    category_list: [2],
                },
            }, 
            {
                type: "add",
                id:   "4",
                fields: 
                {
                    name: '메종키츠네 넥타이', 
                    description: '제가 생각하기에 최고의 언어는 Rust입니다.',
                    price: 88000, 
                    category_list: [3],
                }
            }
        ])
    }).promise();

    // TODO implement
    const response = {
        statusCode: 200,
        body: JSON.stringify('Hello from Lambda!'),
    };
    return response;
};

type에는 add 아니면 delete가 들어갈 수 있다. add는 upsert 작업을 수행한다.
id는 각각의 document를 구별하는 고유값이라 꼭 넣어야 하고, 나머지 fields에 있는 값들은 내가 정의한 인덱스 필드 값들을 넣어주면 된다.
이렇게 해서 돌리면

들어갈 것이다.

그럼 이제 쿼리를 쏴서 넣어둔 값들을 긁어올 수가 있는 것이다.

쿼리 쏴보기

AWS 콘솔에서 꽤나 간편한 테스트 기능을 제공한다.

저기 들어가서

"쿼리"에 검색어를 넣고 치면 된다.
그러면 각 필드의 가중치나 이것저것을 고려해서 검색결과를 뽑아줄 것이다.
그리고 elasticsearch와 마찬가지로 점수(score)에 기반한 결과를 보여준다.

가중치 부여

'이름'과 '셜명' 필드가 모두 있다면, 일반적으로는 설명보다는 이름에 대한 검색 중요도가 더 높을 것이다.
이런 검색에서의 우선순위를 점수에 부여하려면, 가중치를 명시해줘야 한다.

다음 쿼리는 '이름'이 '설명'보다 10배의 가중치를 가지도록 한다.

점수폭이 더 벌어진 것을 확인할 수 있다.

API로 검색해보기

이번에는 aws-sdk를 써서 코드로 한번 쿼리를 날려보겠다.
사용법이 크게 다르진 않다.
search 함수를 쓰고, 쿼리에 검색어를 넣어주면 된다.

그럼 이런 형태로 잘 가져올 것이다.

점수와 별개로 사전 조건을 거는 필터링도 가능하다.
filterQuery를 사용하면 된다.
다음 쿼리는 category_list에 1이 있는 것만 필터링하는 쿼리다.

이외에 더 심화된 기능이나 문법이 필요하다면 아래 문서를 참조하면 좋겠다.
https://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/CloudSearchDomain.html#search-property

참조
https://www.cbtnuggets.com/blog/certifications/cloud/aws-cloud-search-vs-elasticsearch-which-to-use