[Elasticsearch] bulk write 최적화

elasticsearch는 데이터를 하나씩 insert/update하는걸 지원하긴 하지만, 성능적인 문제로 인해서 여러개를 묶어서 bulk write를 하는 것을 강력하게 권장하는 편이다.

elastcsearch는 batch 처리/미처리시 발생하는 성능 간극이 다른 데이터베이스에 비교하면 정말 매우 큰 편이다.
최적화를 위해 인덱스 구조를 좀 독특하게 잡아놔서 그런건데, 자세한 사정은 별도 포스트를 참조한다.
https://blog.naver.com/sssang97/223640540316

API 스펙은 다음 문서를 참조한다.
https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-bulk.html

적당한 배치 크기

그러면 한번에 몇개씩 묶어서 처리하는게 적절할까?
이건 개수를 기준으로 보는게 아니라 크기를 기준으로 봐야 한다. 현재 쌓여있는 데이터들의 평균 데이터 크기를 조사해서 그걸로 추산을 해봐야 한다.

크기에 대해서는 공식 문서에서도 명확한 답이 있진 않고, 배치당 5mb~15mb 정도에서 시작해서 점진적으로 늘려보라고 한다. 하드웨어 스펙이나 환경에 따라서 달라질 수 있기 때문이다.

내 경우에는 문서별 크기가 10k 정도라서 500개를 묶어서(5mb=10k*500) 적당히 처리했다.

참조
https://stackoverflow.com/questions/18488747/what-is-the-ideal-bulk-size-formula-in-elasticsearch
https://www.elastic.co/guide/en/elasticsearch/guide/current/indexing-performance.html#_using_and_sizing_bulk_requests