Kafka 3

브로커 설치하기

자바와 주키퍼가 설정되었다면 카프카를 설치할 준비가 끝난 셈이다. 카프카의 현재 버전은 공식웹사이트(http://kafka.apache.org/downloads) 에서 받을 수 있다. 현재 시점의 최신 버전은 스칼라 2.13.0에서 실행되는 3.6.1 버전이다. 1. 브로커 설치 다운받은 카프카를 /usr/local/kafka 에 설치하고, 메시지 로그는 /tmp/kafka-logs 에 저장한다. 1. 배포판 다운로드 및 압축해제 2. /usr/local/kafka 로 이동 3. 로그 디렉토리 생성(/tmp/kafka-logs) 4. JAVA 환경설정 및 서버실행 $ tar -zxf kafka_2.13-3.6.1.tgz $ mv kafka_2.13-3.6.1 /usr/local/kafka $ mkdir ..

Kafka 2024.01.12

Kafka 개요

아파치 카프카는 메시지 발행/구독 시스템이다. '분산 커밋 로그' 혹은 '분산 스트리밍 플랫폼'이라고 불리기도 한다. 파일시스템이나 데이터베이스 커밋 로그는 모든 트랜잭션 기록을 지속성 있게 보존함으로써 시스템의 상태를 일관성 있게 복구할 수 있도록 고안되었다. 이와 유사하게, 카프카에 저장된 데이터는 순서를 유지한 채로 지속성 있게 보관되면 결정적으로 읽을 수 있다. 또한, 확장시 성능을 향상시키고 실패가 발생하더라도 데이터 사용에 문제가 없도록 시스템 안에서 데이터를 분산시켜 저장할 수 있다. 1. 메시지와 배치 카프카에서 데이터의 기본 단위는 메시지 이다. 메시지는 키(key)라 불리는 메타데이터를 포함할 수 있다. 키는 메시지를 저장할 파티션을 결정하기 위해 사용된다. 가장 간단한 방법은 키값에서..

Kafka 2023.12.09

Spring Boot3 마이그레이션

해당 포스트는 Meduim 의 아티클 "Spring Boot3 Migration" 을 번역한 내용이다. [ 원문 ] Spring Boot3 마이그레이션 준비 Spring-boot 2의 마지막 버전인 2.7.x 지원종료(2023년 11월 18일)가 다가오고 있어, Spring Boot 3 으로 마이그레이션하기 시작했고, 그동안 마주친 중요한 문제들을 기록했다. Java 17 Jakarta EE Kafka OpenAPI Spring Security 수 많은 마이그레이션 가이드가 존재하지만, 다음의 두 문서에서 시작하는것을 추천한다. Preparing for Spring Boot 3.0 Spring Boot 2.0 was the first release in the 2.x line and was publish..

Medium 2023.10.17