[Meilisearch] 토큰화 (Tokenization)

Meilisearch은 elasticsearch 등의 여타 검색엔진 시스템들과 마찬가지로, 사전에 기반한 토크나이징 처리를 제공한다.

모든 텍스트는 일단 공백으로 구분되며, 지원되는 언어에 한해서는 각각의 언어 사전을 활용해 문장을 단어 단위로 분리해서 검색을 수행한다.

현재 지원되는 언어는 중국어, 일본어, 한국어, 태국어, 히브리어 정도다. 추후에는 더 늘어날 수 있다.

이 덕분에 이렇게 데이터가 "비빔 냉면"으로 되어있더라도

"비빔냉면"으로 검색이 가능하다.

사전을 기반으로 단어를 "비빔"과 "냉면"으로 분할해서 검색할 수 있기 때문이다.

참조
https://www.meilisearch.com/docs/learn/advanced/tokenization