[Elasticsearch] analyze

match 등의 텍스트 검색기능들은 기본적으로 analyze라는 전처리 단계를 거쳐간다고 했었다.
여기에 대해서 잠깐 다뤄보겠다.

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-analyze.html
이 애널라이즈는 꼭 검색을 할때만 쓸수 있는건 아니고, 제공되는 API를 통해서 딱 그 전처리 단계만을 테스트해볼 수도 있다.

호출형태는 다음과 같다.
기본 애널라이저를 쓰고 텍스트는 "시원한 샴푸"다.

그럼 내부적으로 처리를 어떻게 하는지를 리스폰스로 찍어준다.
여기서는 "시원한"과 "샴푸"로 잘라줬다.
기본적으로 공백단위는 전부 자르기 때문이다.

하지만 "시원한샴푸"를 입력한다면, 우리는 "시원한"과 "샴푸"의 2개 단어로 나뉨을 알지만, 애널라이저는 알지 못한다. 그래서 "시원한 샴푸"에 대한 검색은 이루어지지 않는다.

이런 것 때문에 애널라이저의 커스텀이 필요한 것이다.

한국어 형태소분석기인 nori를 쓴다면 한국어에 대한 문장요소별 분리가 가능해진다.
이것도 제대로 쓰려면 설정할게 엄청 많은데, 일단 기본설정으로 날리면 다음과 같은 분석결과가 나온다.

"시원"과 "샴푸"로 분리가 된 것을 볼 수 있다.

그리고 이것도 explain을 켜면 분석법을 좀 볼 수 있다.

애널라이저의 구조

애널라이저는 크게 3단계의 처리단계를 거친다.
캐릭터 필터, 토크나이저, 토큰 필터다.

https://esbook.kimjmin.net/06-text-analysis/6.2-text-analysis

1. 캐릭터 필터

캐릭터 필터는 토크나이저로 넘어가기 전에 가벼운 전처리를 행하기 위한 기능이다.
토크나이저와 토큰 필터에 비해서는 그렇게 자주 쓰이지는 않는 것 같다.

캐릭터 필터에는 기본적으로 HTML Strip, Mapping, Pattern Replace의 3가지 필터가 제공된다.
"char_filter" 옵션으로 지정 가능하다.

html strip은 그냥 html 특수문자들을 읽어서 치환해주는 기능이다.
원래라면 제대로 읽지 못할 것을

char_filter로 적용해주면 html 특수문자 &npsp를 공백으로서 인식하게 된다.

매핑 필터는 그냥 특정 단어를 다른 단어로 교체할 수 있게 해준다.
"대상 단어 => 바꿀 단어"의 형태로 지정해줄 수 있다.

Pattern Replace는 그냥 정규표현식으로 치환을 해주는건데, 이건 복잡해서 일단 넘기겠다.

2. 토크나이저

아까 위에서 다뤘던 nori라는 형태소 분석기가 사실 토크나이저였다.
토크나이저는 정의된 규칙에 따라서 텍스트를 토큰 단위로 잘라주는 녀석이다.

"tokenizer" 옵션으로 지정 가능하며, 기본으로 제공하는 토크나이저로는 standard, letter, whiltespace 등이 있다.
이외에도 몇개 있긴 한데 굳이 여기서 다 다루지는 않겠다.

standard는 그냥 공백으로 토큰을 자르면서 @ 같은 일부 특수문자만 지워준다.

그리고 letter는 공백을 포함한 특수문자를 기준으로 토큰을 자른다.

whiltespace는 그냥 공백을 기준으로 토큰을 자르기만 한다.

nori 같은 전문화된 형태소 토크나이저는 별도 포스트로 다루겠다.

3. 토큰 필터

이건 토크나이저로 분리된 토큰을, 마지막으로 한번 더 치환해주는 기능이다.
"filter" 옵션으로 복수 지정 가능하며, lowercase, uppercase, stop, unique, synonym 등이 있다.

이중에서 stopword와 synonym이 아마 제일 자주 쓰일 것이다.

토큰필터 - lowercase, uppercase

lowercase, uppercase는 각각 전부 소문자, 대문자로 치환해주는 필터다.

stop은 특정 토큰들을 걸러내는 역할을 한다. stopword로 지정된 단어를 토큰 단위로 던져버린다.
이건 그냥 바로 테스트가 안돼서, 인덱스와 함께 만들어서 테스트를 했다.

이러면 이제 stopword로 지정된 단어 is가 자동으로 사라질 것이다.

토큰필터 - unique

unique는 한 중복된 토큰을 잘라준다.

그럼 이제 중복단어 Happy가 하나만 전달될 것이다.

토큰필터 - synonym

synonym은 동의어를 처리해주는 기능이다.
고품질의 검색을 원한다면 적당히 넣어주는게 좋다.

이런식으로 지정할 수 있는데, 여기선 동의어 목록을 synonyms로 박아놨지만 따로 파일 업로드해서 synonyms_path로 파일경로 지정해주는게 정석이다.
저러면 shampoo, 샴푸, 샴퓨 토큰을 만나면 전부 "샴푸"로 치환한다는 내용이다.

이렇게 바꿔버린다.

저건 일방적인 치환이고,

서로 치환되게 하려면 그냥 이렇게 콤마로만 구분해서 던져주면 된다.

그러면 동의어 목록을 전부 토큰으로 넣어버린다.

인덱스에 적용하기

그런데 저렇게 테스트해보기만 하면 뭐하겠는가. 실제로 붙여서 써야 의미가 있지.
애널라이저는 다음과 같이 정의해서 인덱스에 추가할 수 있다.
settings.analysis 절이다.

PUT test6
{
  "settings": {
    "analysis": {
      "analyzer": {
        "korean": {
            "type": "custom",
            "tokenizer": "nori",
            "filter": ["my_synonym"],
            "char_filter": []
        }
      },
      "filter": {
        "my_synonym": {
          "type": "synonym",
          "synonyms": [
            "shampoo, 삼푸 => 샴퓨, 샴푸"
          ]
        }
      },
      "tokenizer": {
        "nori": {
          "decompound_mode": "mixed",
          "type": "nori_tokenizer",
          "user_dictionary":"user_dictionary.txt"
        }
      }
    }
  },
  "mappings": {
    ...
  }
}

analysis.filter 절로 토큰필터를 정의해두고, analysis.tokenizer 절로 토크나이저를 정의해서,
analysis.analyzer 절에 정의해둔 것들을 꼽아쓰는 식이다.

위에서는 korean 절로 한국어에만 자동으로 애널라이저가 작동하게 해둔 것이고, 그냥 완전 디폴트로 하려면 키값을 default로 하면 된다.

애널라이저 이름을 "korean" 같은 언어명이나 default 등 예약된 이름으로 해두지 않으면 그냥 등록만 되고, 기본으로 사용이 되진 않는다.

그렇다.

참조
https://esbook.kimjmin.net/06-text-analysis/6.2-text-analysis
https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-custom-analyzer.html
https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-synonym-tokenfilter.html