[Kafka] 소개 및 설치

#Kafka

카프카는 대용량 처리를 위한 고성능 큐 시스템이다.
정확히는 메세지 브로커라고 표현한다.

링크드인에서 개발되었으며, 2011년에 오픈소스화되어 이후에는 아파치 재단에서 관리중이다.
스칼라로 작성되어 자바로 구동된다.

여러가지 용도로 많이 사용된다.

설치

카프카 브로커는 리눅스와 맥에서만 제대로 지원이 된다.
윈도우즈에서 카프카를 돌려보고 싶다면, 도커를 올려서 사용하는 것을 권장한다.

포트만 잘 열어주자

우선 Java 11을 깔아야 한다.

apt-get install openjdk-11-jdk

그리고 카프카를 다운받는다.
버전은 바꿔도 무방하다.

wget https://archive.apache.org/dist/kafka/3.0.0/kafka_2.13-3.0.0.tgz

압축풀고, 그 안으로 이동한다.

tar xzf kafka_2.13-3.0.0.tgz
mv kafka_2.13-3.0.0

zookeeper라는 녀석을 먼저 실행시켜줘야 한다.
이건 kafka의 클러스터 관리용 의존성이다.
다음과 같이 실행시키면 되는데, 포그라운드로 돌리고 싶다면 -daemon을 빼면 된다.

./bin/zookeeper-server-start.sh -daemon ./config/zookeeper.properties

그러면 이제 카프카를 실행시켜주면 된다.

./bin/kafka-server-start.sh ./config/server.properties

이렇게 로그가 잔뜩 쏟아지면 성공이다.

외부에서 접속을 허용하려면, advertised.listeners라는 옵션값을 건드려줘야 한다.

주석을 풀고, 공개할 도메인 형태를 적어준다.
지금은 도메인 달게 없어서 localhost로 했는데, 도메인이 있으면 그걸로 써주면 된다.

다음 포스트에서는 카프카를 사용하는 방법에 대해 다루겠다.