[Kafka] 윈도우에서 카프카 연습

카프카 실행 예제

환경 및 준비물

환경: 윈도우10, 

준비물: JAVA, Zookeeper, Kafka

 

카프카 설치 방법

1. Java 설치

주키퍼(Zookeeper)를 사용하기 위해 필요합니다. 저는 JDK-22 설치 했습니다.

 

2. JAVA_HOME 환경변수 등록

시스템 속성 > 고급 > 환경 변수 > 시스템 변수 등록 ( 윈도우 실행 메뉴에서 "시스템 환경 변수 편집" 으로 이동하시면 됩니다.) 

 

3. 주키퍼 설치

https://dlcdn.apache.org/zookeeper/

설치 버전: apache-zookeeper-3.8.4-bin

압축을 풀어 개발환경으로 옮기면 설치 입니다. 압축은 7-zip을 사용하여 압축을 풀었습니다. 

 

4. ZOOKEEPER_HOME 환경변수 등록 

JAVA_HOME 동일한 방법

5. 카프카 설치

https://kafka.apache.org/

설치 버전: kafka_2.13-3.8.0

 

* 카프카를 설치 하실때 경로를 최대한 단순하게 해주셔야 합니다. 경로가 너무 길면 오류가 납니다. 

 

C:\kafka\apache-zookeeper-3.8.4-bin
C:\kafka\kafka_2.13-3.8.0

 

6. 환경 파일 수정 

1)  주키퍼 환경파일 

. data 폴더 생성

C:\kafka\apache-zookeeper-3.8.4-bin\data

 

. conf/zoo_samp.cfg 파일 메모장에서 열기

dataDir= 위치를 수정합니다.

 

2) 카프카 환경파일 수정

. logs 폴더 생성

C:\kafka\kafka_2.13-3.8.0\log

. config/server.properties 파일  수정 

log.dirs= 위치를 수정합니다.

 

카프카 실행 방법

1. 주키퍼 실행

카프카를 실행하기전에 주키퍼 먼저 실행 해야 합니다. 윈도우 파워셀 (cmd 업그레이드 버전) 열고 카프카가 설치된 위치로 이동합니다. 그리고 아래 명령을 입력 해서 실행 합니다.

C:\kafka\kafka_2.13-3.8.0> .\bin\windows\zookeeper-server-start.bat config\zookeeper.properties

 

환경설정, 블라블라 메시지가 막 내려 가면 성공 입니다. 

 

2. 카프카 실행

파워셀 하나 더 띄웁니다.

C:\kafka\kafka_2.13-3.8.0> .\bin\windows\kafka-server-start.bat config\server.properties

 

주키퍼와 유사한 화면 출력 되면 성공.

 

3. 카프카 토픽 생성

파워셀 하나 더 띄웁니다.

C:\kafka\kafka_2.13-3.8.0\bin\windows> .\kafka-topics.bat --create --topic new-topic --bootstrap-server localhost:9092

CLI 명령 위치 꼭 확인하세요

 

* 옵션

--create --topic: 토픽을 생성
--bootstrap-server: 클라이언트가 접근하는 토픽의 메타데이터를 요청하여 원하는 브로커를 찾기 위한 설정
--replication factor n: 토픽의 파티션 복제본 개수를 설정
--partition n: 파티션의 개수를 설정

 

Created topic new-topic. (정상)

 

* 토픽은 데이터를 구분하기 위한 저장소라고 보면 됩니다. 카프카는 데이터를 주고받을때 지정된 토픽으로 주고 받습니다. 테이블, 폴더와 유사합니다. 프로듀서가 데이터를 넣고, 컨슈머가 가져갑니다.

 

4. 프로듀서로 토픽 메시지 전달

C:\kafka\kafka_2.13-3.8.0\bin\windows> .\kafca-console-producer.bat --bootstrap-server localhost:9092 --topic new-topic

 

 

5. 토픽 구독 

C:\kafka\kafka_2.13-3.8.0\bin\windows> .\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic new-topic --from-beginning

 

* 옵션 

--from-beginnig: 이전 데이터 모두 수신

 

간단하게 윈도우환경에서 카프카를 실행 해봤습니다.