새로운 시작

https://medium.com/stackademic/the-synergy-of-spring-ai-and-ollama-transforming-local-ai-interactions-with-llms-4e5bcc1a1c95

위 미디엄 아티클을 보며 실습을 해봤다.

아티클과 다르게 구성한점

• llama2 -> llama3
• 애플리케이션 실행 시 yaml 파일의 model 옵션이 적용이 안됨
  • OllamaEmbeddingsGenerator 클래스에 mistral로 하드코딩 되어 있었음
  • OllamaChatGenerator 의 경우 하드코딩되어 있진 않았으나 yaml 설정이 적용안되어 코드 삽입

    public Map generate(String message) {
        return Map.of("generation", 
                this.ollamaChatClient.withDefaultOptions(OllamaOptions.create().withModel("llama3")).call(message));
    }

아래와 같은 단계로 진행하였다. 

1. Ollama 사이트에서 다운로드 및 설치 : https://ollama.com/download

2. Ollama 를 이용하여 llama3 model pull

ollama pull llama3

3. https://start.spring.io/ 를 이용하여 spring ai 프로젝트 생성

4. 애플리케이션 실행 

5. 테스트 

https://medium.com/@tpbabparn/in-house-llm-application-by-spring-ai-ollama-91c48e2d2d38

아티클 내용을 다 보진 못했지만 Spring AI를 이용해서 인하우스 LLM을 구축해보는 학습용으로 좋을 것 같다. 

킵해 놓고 주말에 실습을 해봐야 겠다. 

https://medium.com/javarevisited/9-best-java-profilers-to-use-in-2024-cc5d21f46f00

위 글에서 저자는 프로파일러는 무엇인지, 어떻게 동작하는지, 어떤 사례가 있는지를 설명하고 관련 툴 9가지에 대해 설명한다. 

저자는 결론적으로 YourKit과 Digma를 결합하는 것이 최상의 최적화 결과를 얻는 데 가장 적합했다고 말한다.

Grafana는 애플리케이션 로그 시각화를 위한 것이고 YourKit은 잠재적인 병목 현상에 대한 애플리케이션 프로파일링을 위한 것이며 Digma는 잠재적인 문제가 있는 코드 조각에 대한 원활한 통찰력을 제공하는 것입니다.

chat gpt에게 물어본 결과

"At-Most-Once" 처리는 메시지가 최대 한 번 처리됨을 보장합니다. 이는 메시지가 유실될 수 있지만, 중복 처리는 발생하지 않습니다. Kafka에서 "At-Most-Once" 처리를 구현하는 방법은 다음과 같습니다:

### 1. 자동 오프셋 커밋 활성화
- **자동 오프셋 커밋:** `enable.auto.commit` 설정을 `true`로 설정하여 자동 오프셋 커밋을 활성화합니다. 이렇게 하면 메시지를 폴링한 직후 자동으로 오프셋이 커밋되므로, 처리 중에 애플리케이션이 실패하더라도 이미 커밋된 오프셋 이후의 메시지는 재처리되지 않습니다.

### 2. 메시지 처리 전 오프셋 커밋
- **오프셋 미리 커밋:** 메시지 처리 전에 미리 오프셋을 커밋함으로써, 해당 메시지가 처리되기 전에 실패가 발생하더라도 중복 처리되지 않도록 합니다. 이 방식은 메시지 유실의 가능성을 수용하는 경우에 적합합니다.

### 3. 빠른 실패 메커니즘
- **예외 처리:** 메시지 처리 중에 예외가 발생하면, 즉시 처리를 중단하고 실패로 간주합니다. 이를 통해 메시지 처리를 재시도하지 않고 다음 메시지로 넘어갈 수 있으며, 이는 "At-Most-Once" 처리의 특징을 충족시킵니다.

### 4. 최소한의 재시도 로직
- **재시도 최소화:** "At-Most-Once" 처리 모델에서는 메시지 처리를 위한 재시도 로직을 최소화하거나 사용하지 않습니다. 메시지 처리 시도가 실패하면 해당 메시지는 버려지고, 시스템은 다음 메시지로 넘어갑니다.

### 5. 신속한 메시지 소비
- **효율적인 메시지 소비:** 메시지 처리 로직을 가능한 한 신속하게 수행하여, 시스템이 빠르게 다음 메시지로 이동할 수 있도록 합니다. 이는 시스템의 전반적인 처리량을 최적화하는 데 도움이 됩니다.

"At-Most-Once" 처리 전략은 메시지 중복 처리를 방지하는 데 초점을 맞추지만, 이로 인해 메시지 유실이 발생할 수 있다는 점을 명심해야 합니다. 따라서, 이 전략은 메시지 유실이 비즈니스 로직에 큰 영향을 미치지 않는 시나리오에 적합합니다. 중요한 데이터를 처리할 때는 다른 전송 보증 방식("At-Least-Once" 또는 "Exactly-Once")을 고려하는 것이 좋습니다.

카프카 커넥트는 언제 사용하나?

• 카프카를 직접 코드나 API를 작성하지 않았고, 변경도 할 수 없는 데이터 저장소에 연결시켜야 하는 경우

카프카 커넥트의 구성

• Worker
  • 커넥터와 태스크를 실행시키는 역할
  • 커넥터 설정을 내부 토픽에 저장
  • 적절한 설정값 전달
  • 소스와 싱크 커텍터의 오프셋 커밋
  • 문제 발생시 재시도
  • REST API, 설정관리, 신뢰성, 고가용성, 규모 확장성, 부하 분산 담당
  • 워커 프로세스의 장애 또는 신규 추가
    • 커넥터 클러스트안의 다른 워커들이 감지
    • 해당 워커에서 실행중이던 커넥터와 태스크를 다른 워커에 할당
• 커넥터 플러그인
  • 커넥터 API 구현
  • Connector
    • 커넥터에서 몇 개의 태스크가 실행되어야 하는지 결정
    • 데이터 복사 작업을 각 태스크에 어떻게 분할해 줄지 결정
    • 워커로부터 태스크 설정을 얻어와서 태스크에 전달
  • Task
    • 데이터를 실제로 카프카에 넣거나 가져오는 작업 담당
    • 워커로부터 컨텍스트를 받아서 초기화
    • 소스 태스크
      • 소스 레코드의 오프셋을 저장할 수 있게 해주는 객체 포함
      • 외부 시스템을 폴링해서 워커가 카프카 브로커로 보낼 레코드 리스트 리턴
    • 싱크태스크
      • 카프카로부터 받는 레코드를 제어할 수 있게 해주는 메소드들 포함
      • 워커를 통해 카프카 레코드를 받아서 외부 시스템에 쓰는 작업 담당
• Data API
  • 소스 커넥터에서 데이터 객체를 어떻게 생성할지에 대한 방법을 알려줌
•  Converter
  • 소스 커넥터에서 카프카에 데이터를 어떻게 쓸지에 대한 방법을 알려줌
  • 카프카에서 데이터를 읽어 컨버터를 통해 데이터 API 레코드로 변환하여 싱크 커넥터로 전달
  • 기본 데이터 타입, 바이트 배열, 문자열, Avro, Json, 스키마 있는 JSON, Protobuf 사용가능
• 오프셋 관리
  • 소스커넥터
    • 커넥터가 워커에 리턴하는 레코드에 논리적인 파티션과 오프셋 포함
      • 파일 인경우, 파일이 파티션, 파일안의 줄 또는 문자 위치가 오프셋
      • JDBC의 경우, 테이블이 파티션, 테이블의 레코드 id/timestamp 가 오프셋
  • 싱크커넥터
    • 토픽, 파티션, 오프셋 식별자가 포함되어 있는 카프카 레코드를 읽은 뒤 대상 시스템에 저장
    • 성공하면 오프셋 커밋

프로듀서

• 재시도로 인해 발생하는 중복을 방지
• 멱등적 프로듀서 + 트랜잭션
• 멱등적 프로듀서
  • 멱등적 프로듀서 기능 on : enable.idempotence=true, acks = all
  • 식별자 생성
    • producer Id, sequence id 생성
    • 대상 토픽, 파티션
    • max.in.flights.requests.per.connection <= 5
  • 중복시 에러가 발생하지는 않지만 메트릭에는 수집됨
    • client : record-error-rate
    • broker : RequestMetrics - ErrorsPerSec
  • 예상보다 높은 시퀀스 값을 받게 될경우 out of order sequence number 에러 발생
    • 트랜잭션 기능을 사용하지 않는 다면 무시해도 됨
    • 프로듀서와 브로커 사이에 메시지 유실
    • 브로커 설정 재점검 및 언클린 리더 선출 발생 여부 확인
  • 프로듀서 재시작
    • 초기화 과정에서 브로커로부터 프로듀서id를 생성 받음
    • 프로듀서 초기화마다 새로운 id 생성
    • 새 프로듀서가 이미 기존 프로듀서가 전송한 메시지를 다시 전송할 경우 중복될 수 있음
  • 브로커 장애
    • 컨트롤러는 장애가 난 브로커가 리더를 맡고 있었던 파티션들에 대해 새 리더를 선출
    • 새 리더는 중복메시지를 체크하기 시작함
      • 리더는 인메모리 프로듀서 상태에 저장된 최근 5개의 시퀀스 넘버를 업데이트 하고 팔로워는 새로운 메시지를 복제할 때마다 자체적인 인메모리 버퍼를 업데이트함으로써 상태를 알 수 있다. 
    • 장애난 브로커의 복구 
      • 브로커는 종료되거나 새 세그먼트가 생성될 때마다 프로듀서 상태에 대한 스냅샷을 파일 형대로 저장
      • 브로커가 시작되면 파일에서 최신 상태를 읽어옴
      • 현재 리더로부터 복제한 레코드를 사용해서 프로듀서 상태를 업데이트 함
  • 한계
    • 내부로직으로 인한 재시도가 발생할 겨우 생기는 중복만 방지
      • 동일한 메시지를 producer.send를 두번 호출하면 중복 발생

트랜잭션

• 카프카 스트림즈를 사용해서 개발된 애플리케이션에 정확성을 보장하기 위해 도입 (읽기-처리-쓰기 패턴)
• 다수의 파티션에 대해 원자적 쓰기(atomic multipartition write) 기능도입
• 문제상황
  
  • 애플리케이션 크래시에 의한 재시도
  • 좀비 애플리케이션에 의해 발생하는 재처리
• Transactional producer
  • transactional.id 설정 
    • 재시작시에도 값이 유지됨
  • initTransactions() 호출로 초기화
    • transactional.id와 producer.id 의 대응관계를 유지함
    • 이미 있는 transactional.id 프로듀서가 initTransactions를 호출하는 경우 이전에 쓰던 producer.id값을 할당
  • Zombie fencing
    • 좀비 인스턴스가 출력 스트림에 결과를 쓰는 것을 방지
    • epoch 사용
    • initTransactions 호출 시 transactional.id에 해당하는 epoch 값을 증가 시킴
    • epoch값이 낮은 프로듀서가 전송 후 트랜잭션 커밋/중단 요청을 보낼경우 FencedProducer 에러 발생
    • close()를 호출하여 좀비 애플리케이션 종료
• 컨슈머 격리 수준(isolation.level)
  • read_uncommitted(default) : 진행중이거나 중단된 트랜잭션에 속한 모든 레코드 리턴
  • read_committed
    • 커밋된 트랜잭션에 속한 메시지 / 트랜잭션에 속하지 않는 메시지만 리턴
    • 트랜잭션에 속한 일부 토픽만 구독하므로 트랜잭션에 속한 모든 메시지가 리턴된다고 보장되지 않음
    • 트랜잭션이 처음으로 시작된 시점 (Last Stable Offset, LSO) 이후에 쓰여진 메시지는 리턴되지 않음
      • 트랜잭션이 커밋/중단 되는 시점 또는 transaction.timeout.ms 만큼 시간이 지날 때까지 보류
  • transaction.timeout.ms
    • default : 15분
    • 종단 지연이 길어질 수 있음
• 한계
  • 스트림 처리내에서 외부 효과를 일으키는 작업
  • 카프카 토픽에서 읽어서 데이터 베이스에 쓰는 경우
  • DB에서 읽어서 카프카에 쓰고 다른 DB에 쓰는 경우
  • 한클러스터에서 다른 클러스터로 데이터 복제
  • 발행/구독 패턴
• 사용법
  • 카프카 스트림즈
    • processing.guarantee= exactly_once / exactly_once_beta 로 설정
  • 트랜잭션 API 사용
    • transactional.id 설정
    • enable.auto.commit = false
    • isolation.leve = read_committed
    • producer.initTransactions()
      • transactional.id 등록 또는 epoch 값 증가
    • producer.beginTransaction()
      • 프로듀서에 현재 진행중이 트랜잭션이 있음을 알림
      • 레코드 전송 시 프로듀셔가 브로커에 AddPartitionsToTxn 요청
      • 트랜잭션 로그에 기록
    • producer.sendOffsetsToTransaction
      • 트랜잭션이 커밋 되기전 호출
      • 트랜잭션 코디네이터로 오프셋과 컨슈머 그룹 아이디가 포함된 요청 전송
      • 트랜잭션 코디네이터는 컨슈머 그룹 아이디를 이용하여 컨슈머 그룹 코디네이터를 찾고 오프셋 커밋
    • producer.commitTransaction / producer.abortTransaction
      • 트랜잭션 코디네이터로 EndTxn 요청 전송
      • 트랜잭션 로그에 기록
      • 트랜잭션에 포함된 모든 파티션에 마커 쓰기
      • 트랜잭션 로그에 기록
        • 로그에기록 되었지만 코디네이터가 종료되거나 크래쉬 되면 새로 선출된 코디네이터가 마무리 짐
    • transaction.timeout.ms 
      • 해당 시간내에 커밋/중단 되지 않으면 트랜잭션 코디네이터가 중단
• 원리
  • 찬디-램포트 스냅샷 알고리즘 : 통신채널을 통해 카머라 불리는 컨트롤 메시지를 보내고 도착을 기준으로 일관적인 상태를 결정
  • two phase commit, 트랜잭션 로그(transaction_state 내부 토픽) 사용
    • 현재 진행중인 트랜잭션과 파티션을 함께 로그에 기록
    • 커밋/중단 시도 기록
    • 모든 파티션에 트랜잭션 마커를 씀
    • 트랜잭션 종료 로그 기록
• 모니터링
  • LastStableOffsetLag 지표
    • 파티션의 LSO가 최신 오프셋 값에서 얼마나 떨어졌는지를 나타냄
    • 이값이 무한히 증가하는 상황 : 트랜잭션 멈춤 현상

파티션과 컨슈머

• 컨슈머는 컨슈머그룹의 일부로서 작동
• 하나의 파티션에는 하나의 컨슈머가 할당됨
• 파티션수보다 컨슈머수가 더 많다면 유휴 컨슈머가 생김
• 파티션수보다 컨슈머수가 적다면 하나의 컨슈머가 여러파티션을 컨슘하여 처리함
• 애플리케이션에서 모든 토픽의 데이터를 컨슘하기 위해 애플리케이션 별로 컨슈머 그룹을 생성해야 함

파티션 리밸런스

• 컨슈머가 추가되거나, 크래시되었거나 파티션이 추가되는 등의 변경이 발생하면 컨슈머를 파티션에 재할당하는 작업이 실행되고 이 과정을 리밴런스라 함
• Eager rebalance(조급한 리밸런스)
  • 모든 컨슈머가 읽기 작업을 멈추고 모든 파티션에 대한 소유권을 포기한 후 컨슈머 모두가 그룹에 다시 참여하여야 새로운 파티션을 할당받도록 하는 방법
  • Stop the world
• Cooperative rebalance(협력적 리밸런스) / Incremental rebalance(점진적 리밸런스)
  • 컨슈머 리더가 일부 파티션 재할당을 통지하면, 해당 컨슈머들은 작업을 중단하고 소유권을 포기한 후 이 컨슈머들을 새로운 파티션에 재할당 하는 방법
  • 안정적으로 파티션이 할당될때까지 반복될 수 있음
  • Stop the world는 발생하지 않음
• 2.4 이후 Eager rebalance가 default 였으나 3.1 부터 Cooperative rebalance가 default가 되고 Eager rebalance는 deprecated 될 예정
• session.timeout.ms에 설정된 값(default - 2.8 : 10초, 3.0:45초)동안 컨슈머가 heartbeat를 보내지 않으면 해당 컨슈머가 죽은것으로 판단하여 리밸런스 발생
• max.poll.interval.ms(default 5분) 에 지정된 시간동안 컨슈머가 폴링하지 않으면 해당 컨슈머는 죽은것으로 판단
  • heartbeat는 백그라운드 스레드에서 전송하므로 메인스레드가 블록 되더라도 hearbeat는 전송가능 함
  • 이러한 경우를 판단하기 위해 max.poll.interval.ms로 컨슈머가 정상적으로 컨슘하는지 확인

폴링루프

• while(true)를 이용한 무한 루프
• 루프내에서 컨슈머의 poll(Duration) 메소드를 호출하여 메시지를 가져오고, 처음으로 호출되는 경우 GroupCoordinator를 찾아서 컨슈머 그룹에 참가하고 파티션을 할당 받음
• max.poll.interval.ms에 지정된 시간 이상으로 호출되지 않는 경우 컨슈머는 죽은 것으로 판정되므로 블록되지 않도록 주의 해야함

파티션 할당 전략

• partition.assignment.strategy 설정
• Range(default)
  • RangeAssignor
  • 컨슈머가 구독하는 각 토픽의 파티션들을 연속된 그룹으로 나눠서 할당
  • 홀수개의 파티션을 갖는 경우 앞의 컨슈머는 뒤의 컨슈머보다 많은 파티션을 하당받게 됨
• RoundRobin
  • RoundRobinAssignor
  • 모든 구독된 토픽의 모든 파티션을 가져다 순차적으로 하나씩 컨슈머에 할당
  • 모든 컨슈머들이 동일한 수의 파티션 할당(많아야 1개차이)
• Sticky
  • StickyAssignor
  • 파티션들을 가능한 균등하게 할당(RoundRobin과 유사)
  • 리밸런스가 발생했을때 가능하면 많은 파티션들이 같은 컨슈머에 할당
  • 컨슈머가 변경되는 오버헤드를 최소화
• Cooperative Sticky
  • CooperativeStickyAssignor
  • Sticky 와 동일
  • 컨슈머가 재할당되지 않은 파티션으로부터 레코드를 계속해서 읽어올 수 있도록 해주는 협력적 리밸런스기능 지원

오프셋 커밋

• 파티션에서의 현재위치를 업데이트 하는 작업
• poll이 리턴한 마지막 오프셋 바로 다음 오프셋을 커밋함(수동으로 오프셋을 다룰 경우 유의)
• 레코드를 개별적으로 커밋하지 않고 파티션에서 성공적으로 처리해 낸 마지막 메시지를 커밋 함
• 커밋된 오프셋이 클라이언트가 마지막으로 처리한 오프셋보다 작을 경우 중복 처리 됨
• 커밋된 오프셋이 클라이언트가 마지막으로 처리한 오프셋보다 클 경우 메시지 누락처리됨
• 자동 커밋
  • enable.auto.commit = true 로 설정
  • 컨슈머가 대신 커밋
  • auto.commit.intervel.ms(default 5초)에 한번 poll을 통해 받은 메시지 중 마지막 메시지 오프셋 커밋
  • 커밋 인터벌 내에서 리밸런싱이 발생한다면 해당 인터벌내의 메시지는 중복 처리됨
• 현재 오프셋 커밋
  • enable.auto.commit = false 로 설정
• commitSync
  • 가장 간단하고 신뢰성있는 commit API
  • poll에 의해 리턴된 마지막 오프셋 커밋
  • poll에서 리턴된 모든 메시지를 처리하기 전 commit 할 경우 메시지가 누락될 수 있음
  • 브로커가 커밋 요청에 응답할 때 까지 블록됨
  • 성공하거나 재시도 불가능한 실패가 발생할때까지 재시도
• commitAsync
  • 재시도 하지 않음
  • 콜백 처리(OffsetCommitCallback)
  • 콜백에서 재시도 처리시 커밋의 순서를 유의 해야 함
    • Apache Kafka에서 컨슈머의 `commitAsync` 메소드는 비동기적으로 오프셋을 커밋합니다. 이 방법은 `commitSync`에 비해 성능상 이점이 있지만, 비동기적 특성으로 인해 오프셋 커밋 순서가 보장되지 않는 문제가 있습니다. 즉, 늦게 시작된 커밋이 먼저 완료될 수 있으며, 이로 인해 컨슈머 재시작 시 메시지 중복 처리나 누락의 가능성이 존재합니다.
      
      ### 커밋 순서 강제 방법
      
      비동기 커밋 시 순서를 강제하는 명확한 방법은 Kafka 자체적으로 제공하지 않지만, 다음과 같은 방법으로 순서 문제를 완화할 수 있습니다:
      
      1. **단일 콜백 사용**: 비동기 커밋을 할 때마다 새로운 콜백을 생성하는 대신, 단일 콜백 인스턴스를 재사용하면서 내부적으로 최신 오프셋을 추적하는 방법입니다. 콜백 내에서는 커밋된 오프셋이 현재 알고 있는 최신 오프셋보다 이전인지 확인하고, 이전이면 무시합니다. 이 방법은 순서를 완벽하게 보장하지는 않지만, 순서 문제로 인한 영향을 최소화할 수 있습니다.
      
      2. **커밋 직렬화**: 오프셋 커밋 요청을 내부적으로 관리하는 큐를 구현하여, 이전 커밋 요청의 완료를 확인한 후에 다음 커밋을 실행하는 방법입니다. 이 방법은 성능에 영향을 줄 수 있지만, 커밋 순서를 엄격하게 관리할 수 있습니다.
      
      3. **비동기 커밋 후 동기 커밋으로 마무리**: 정기적으로 또는 특정 조건(예: 애플리케이션 종료 시)에서 `commitSync`를 호출하여 오프셋 커밋을 확실하게 완료하는 방법입니다. 이는 비동기 커밋 과정에서 발생할 수 있는 순서 문제를 마지막에 동기 커밋으로 보정합니다.
      
      4. **외부 저장소 사용**: 컨슈머가 처리한 오프셋을 외부 시스템(예: 데이터베이스)에 저장하고, 컨슈머 재시작 시 외부 시스템의 오프셋 정보를 기반으로 메시지 처리 위치를 결정하는 방법입니다. 이 방법은 추가적인 외부 시스템 의존성이 필요하지만, 컨슈머의 상태 관리를 더 세밀하게 할 수 있습니다.
      
      비동기 오프셋 커밋을 사용할 때는 커밋 순서가 보장되지 않는 점을 고려하여 애플리케이션의 로직을 설계해야 하며, 중복 처리나 메시지 누락을 방지하기 위한 추가적인 조치가 필요할 수 있습니다.
• commitSync, commitAsync 동시 사용
  • 정상적인 상황에서는 commitAsync를 사용함
  • 컨슈머를 닫는 상황에서는 commitSync를 사용하여 재시도하도록 함
• 특정 오프셋 커밋
  • 배치 처리 중 오프셋을 커밋하고 싶은 경우
  • Map<TopicPartition, OffsetAndMetadata> 을 commitSync/commitAsync에 파라미터로 넘겨 처리
  • 에러 처리
• 컨슈머가 닫힐때 오프셋 커밋
  • ConsumerRebalanceListener 인터페이스를 구현하여 onPartitionsRevoked 메소드에 커밋 로직 구현
    • Eager rebalance 인경우 컨슈머가 읽기를 멈추고 리밸런스가 시작되기 전 호출
    • Cooperative rebalance 인 경우 리밸런스가 완료될때 할당해제해야할 파티션들에 대해서 호출

Standalone consumer

• 컨슈머가 스스로 특정 토픽의 모든 메시지를 처리해야 하는 경우
• 토픽을 구독할 필요가 없음
• 리밸런스 필요없음
• List<PartitionInfo> partitions = consumer.partitionsFor("Topic") 을 호출하여 파티션 정보를 조회
• consumer.assign(partitions)
• 루프를 돌면서 consumer.poll 호출하여 레코드를 가져와서 처리
• offset commit
• 리밸런싱을 사용하지 않으므로 파티션이 추가되는 경우를 자동으로 감지할 수 없으므로 consumer.partitionsFor를 주기적으로 호출하여 감지 하거나 애플리케이션을 재시작 해야할 수 있음

읽기 지연

• 리더 레플리카는 팔로워 레플리카가 복제한 오프셋을 관리 함
• 컨슈머는 모든 in sync 레플리카에 복제된 메시지만 읽을 수 있음
• 복제가 지연되는 경우 컨슈머가 읽는 메시지도 지연될 수 있음
• replica.lag.time.max.ms 에 정의된 시간 만큼 복제지연이 발 생할 수 있고 이 시간을 지나면 해당 레플리카는 out of sync 레플리카가 됨

전송전략

• fire and forget
  • 메시지를 서버에 전송만하고 성공/실패 여부는 신경 쓰지 않음
  • 메시지 유실 가능성
    • 메시지 직렬화 실패
    • 버퍼가 가득찰 경우 타임아웃 발생
    • 전송 스레드에 인터럽트가 걸리는 경우
    • 애플리케이션은 예외에 대한 아무런 정보를 받지 않음. 
  • 거의 사용하지 않음
• Synchronous send
  • 카프카는 기본적으로 비동기적으로 동작함
  • 다음 메시지를 전송하기 전에 send가 반환하는 Future 객체의 get 메소드를 이용하여 성공여부 확인
  • 전송지연으로 인한 스레드 대기시 성능 문제 발생가능
  • 브로커가 에러응답 반환
  • 재전송 횟수 소진
  • 거의 사용하지 않음. 예제는 많음
• Asynchronous send
  • 콜백함수 이용(Callback 인터페이스 구현)
  • onCompletion(RecordMetadata rm, Exception e)
    • e가 null이 아닌경우 에러발생
  • 프로듀서의 메인 스레드에서 콜백이 실행됨
  • 동일한 스레드로 보낸 메시지의 콜백은 보낸 순서대로 실행됨
  • 콜백메소드에서는 블로킹 작업 수행은 권장하지 않음

응답 처리 전략 (acks)

임의의 쓰기 작업에 대한 성공 여부를 판단하기 위해 얼마나 많은 파티션 레플리카카 해당 레코드를 받아야 하는지 설정

• acks = 0
  • 성공적으로 전달 되었다 간주하고 브로커의 응답을 기다리지 않음
  • 메시지 유실될 수 있음
  • 매우 높은 처리량이 필요할 때 사용
• acks = 1
  • 리더 레플리카가 메시지를 받는 순간 브로커로부터 성공 응답을 받는다
  • 리더에 크래시가 나고 아직 새로운 리더가 선출되지 않은 경우 에러응답을 받고 재시도
  • 리더에 크래시가 난 상태에서 복제가 안된상태로 새 리더가 선출 될경우 메시지 유실
• acks = all
  • 모든 in sync 레플리카에 전달되에 브로커가 성공응답
  • 가장 안전
  • 모든 레플리카에 전달되어야 하기 때문에 지연시간은 더 길어질 수 있음

에러처리

• 재시도 가능한 에러 처리
  • retries : Integer.MAX 
  • delivery.timeout.ms 
  • delivery.timeout.ms 시간내에서 무한히 재시도
  • Network Errors: 네트워크 문제로 인해 발생하는 에러입니다. 예를 들어, Kafka 브로커와의 연결이 일시적으로 끊어진 경우 등이 있습니다.
  • Leader Election: Kafka는 파티션의 리더(replica)에게만 데이터를 쓸 수 있습니다. 리더가 다운되어 새로운 리더가 선출되는 동안 발생하는 에러도 재시도가 가능합니다.
  • Not Enough Replicas: 아직 메시지를 받을 준비가 되지 않은 복제본(replicas) 때문에 발생하는 에러입니다. 이는 복제본이 충분한 데이터를 동기화하지 못한 경우에 발생할 수 있습니다.
  • Not Leader for Partition: 메시지를 쓰려는 파티션의 리더가 변경되었을 때 발생하는 에러입니다. 새 리더로의 재할당 후에 재시도가 가능합니다.
  • Record Too Large: 프로듀서가 보내려는 메시지의 크기가 너무 커서 브로커가 처리할 수 없는 경우 발생합니다. 이는 설정을 조정하여 해결할 수 있지만, 재시도 전에 메시지 크기를 줄여야 할 수도 있습니다.
  • Timeout Errors: 요청에 대한 응답을 Kafka 브로커로부터 지정된 시간 내에 받지 못할 때 발생합니다.
• 재시도 불가능한 에러 처리
• Callback 이용

At least once 보장

• 프로듀서 Retry + Ack 전략
  • acks = all 이고 delivery.timeout.ms 가 충분히 크게 잡혀 있는 경우 메시지를 모든 레플리카에 복제된 상황에서 리더 레플리카가 크래시 나는 경우 프로듀서는 request.timeout.ms 만큼 기다리고 재시도를 하게 되며, 새로 선출된 리더 레플리카에는 이미 메시지가 복제된 상태이므로 중복 저장되지만 at least once는 보장됨
  • retries, retry.backoff.ms 설정
• 컨슈머 offset 관리
  • 컨슈머는 메시지를 처리하면 offset을 커밋하게 되고 재시도시에는 커밋한 offset 이후 부터 처리 

순서보장

• 파티션 내에서 메시지의 순서를 보존
• retries > 0 , max.in.flight.requests.per.connection >= 1 인 경우 순서가 뒤집어질 수 있다.
• 성능및 신뢰성을 보장하기 위해 retries > 0, in.flight >= 2 이어야 하므로 enable.idempotence=true할 경우 in.flight 최대 5까지 요청을 허용하며, 순서도 보장되고 재전송시에도 중복이 발생하지 않도록 해줌

메시지 사이즈 고려

• 프로듀서가 전송하는 메시지의 최대 크기를 설정하는 max.request.size와 브로커가 받아 들일수 있는 메시지의 사이즈를 결정하는 message.max.bytes 설정을 동일하게 맞춰야 함

시리얼라이저

• 커스텀 시리얼라이저를 구현할 수 있으나, 하위호환성 유지, 직렬화/비직렬화 로직 디버깅, 여러팀에서 같이 사용하는 경우 동시 코드 변경 등의 문제가 발생할 수 있음
• JSON, 에이브로, 스리프트, 프로토버프와 같은 범용 라이브러리 사용 권장

파티션 할당

• 키값에 따라 항상 동일한 파티션에 할당되어야 하는 경우 토픽 생성시 파티션을 충분히 크게하고 파티션을 추가하지 않는다. 
• 파티션 수 변경 시 할당되는 파티션도 달라 질 수 있음

인터셉터

• 애플리케이션 공통로직을 처리해야 하는 경우 사용
• 모니터링, 정보추적, 표준 헤더 삽입등
• ProducerInterceptor
  • ProducerRecord<K, V> onSend(ProducerRecord<K, V> record)
    • 레코드를 브로커로 보내기전, 직렬화되기 직전 호출
    • ProducerRecord 조회 및 수정 가능
    • 유효한 ProducerRecord를 반환하는 것에 주의
  • void onAcknowledgement(RecordMetadata metadata, Exception e)
    • 브로커가 보낸응답을 클라이언트가 받았을때 호출
    • 응답을 변경할 수는 없음. 조회는 가능

1. Jenkins docker 설치

• 8080포트는 사용중이므로 9091 로 변경하고 도커 내부에서는 8080포트를 사용하도록 함
• 접속 : localhost:9091
• sudo docker run --name jenkins-docker -d -p 9091:8080 -p 50000:50000 -v /home/jenkins:/var/jenkins_home -u root jenkins/jenkins:lts

2. jenkins tools 설정

• gradle 설정

• jdk 설정
  • aws 에서 제공하는 jdk17 사용( https://docs.aws.amazon.com/corretto/latest/corretto-17-ug/downloads-list.html )
  • Subdirectory of extracted archive 설정은 압축 해제된 디렉토리명을 입력해야 함
    • docker 경로 : /var/jenkins_home/tools/hudson.model.JDK/{설정JDK Name} 하위에 있음

3. Item 설정

• Item 이름 설정
• pipeline으로 생성

4. Item build 구성 설정

• Pipeline 항목에서 Pipeline script 선택 

• script 내용
  • jenkins tools 에 설정한 gradle, jdk Name 을 사용하여 tools 설정
  • git clone 과 build 2 단계

pipeline {
    agent any

    tools {
        gradle 'gradle'
        jdk 'jdk17'
    }
    environment {
        JAVA_HOME = "tool jdk17"
    }
    stages {
        stage('Git-clone') {
            steps {
                git branch: 'develop', url: 'git address...'
            }
        }
        stage('Build') {
            steps {
                sh 'gradle init'
                withGradle {
                   sh 'gradle wrapper clean build'
                }
            }
        }
    }
}

5. Build 확인 

• 해당 프로젝트 내에서 '지금 빌드' 선택

6. 문제 상황 해결

• local redis 접속 문제 : DENIED Redis is running in protected mode because protected mode is enabled ...
  • jenkins는 docker container 로 실행되고 redis는 로컬에서 실행되는 상황
  • protected mode를 해제 하기 위해 redis password 설정
    • redis.conf 파일에 requirepass 항목으로 설정
    • application.yml에 password 설정
    • Configuration 에서 접속 설정 시 password 설정
      • lettuce    @Value("${spring.data.redis.host}")
            private String host;
            @Value("${spring.data.redis.port}")
            private int port;
            @Value("${spring.data.redis.password}")
            private String password;
            @Bean
            public RedisConnectionFactory redisConnectionFactory() {
                RedisStandaloneConfiguration redisStandaloneConfiguration = new RedisStandaloneConfiguration();
                redisStandaloneConfiguration.setHostName(host);
                redisStandaloneConfiguration.setPort(port);
                redisStandaloneConfiguration.setPassword(password);
        
                return new LettuceConnectionFactory(redisStandaloneConfiguration);
            }
      • redisson
        •     @Bean
              public RedissonClient redissonClient(){
                  Config config = new Config();
                  config.useSingleServer()
                          .setAddress("redis://"+ this.host+":"+ this.port)
                          .setPassword(password);
          
                  return Redisson.create(config);
              }
• Connection refused 에러
  • host : localhost -> host.docker.internal 로 변경

레디스(Remote Distionary Server)는 키-배류 형태의 고성능, 고가용성, 확장성을 보장하는 In memory NoSQL 저장소 이다.

레디스의 커맨드는 싱글 스레드 이벤트루프 방식으로 동작한다. 따라서 레이턴시가 높은 커맨드를 사용할때는 주의를 해야한다. 

자료구조

• 다른 자료구조가 이미 생성되어 있는 키에 다른 자료구조로 추가할때 에러를 반환함
• 모든 아이템을 삭제하면 키도 삭제됨
• 키가 없는 상태에서 삭제 커맨드를 실행할 경우 에러를 반환하지는 않음

캐싱전략

• 읽기 전략
  • look a side : 애플리케이션에서 캐시를 먼저 조회하고 있으면 반환 없으면 애플리케이션이 DB를 조회하여 캐시를 채우고 반환
  • read through : 애플리케이션에서 캐시를 먼저 조회하고 있으면 반환 없으면 DB를 조회하고 캐시를 채우고 반환
• 쓰기전략
  • write through : 데이터 업데이트시 매번 캐시도 업데이트
  • write back : 캐시에 먼저 업데이트 후  비동기로 디비에 업데이트
  • cache invalidation : 데이터가 업데이트 될때 마다 캐시를 삭제

만료시간

TTL : 데이터의 저장 기간

EXPIRE : 데이터의 만료 시간

복제

마스터 노드의 데이터를 슬레이브 노드로 실시간 동기화 하는 작업

목적

• filover
• 트래픽 분산(read : 슬레이브, write : 마스터) 
• 백업 시 사용

구성

• 마스터 노드와 다수의 슬레이브
• 레플리카 노드에서 복제
• 복제 그룹에는 하나의 마스터 노드 ( 마스터 노드 복제 안됨)

동작방식

• 복제 연결
  • disk (repl-diskless-sync : no, 7 버전 미만 디폴트)
    • repalica of 명령어로 복제를 시작
    • fork로 자식 프로세스를 생성하여 마스터 노드의 RDB 스냅숏 파일을 생성(BGSAVE command)
    • RDB 생성 이후의 마스터 노드에서 실행되는 모든 커맨드는 RESP 형태로 Replication Buffer 에 저장함
    • RDB 파일을 슬레이브 노드로 전송
    • 슬레이브 노드에서는 이 파일을 로드하여 데이터를 초기화 함
    • Replication Buffer 에 쌓여있는 커맨드를 슬레이브노드로 전송하여 데이터 동기화
    • RDB 파일이 생성되는 도중 다른 복제요청이 들어올 경우 큐에 저장되고 파일 생성 완료후 동시에 복제 연결 시작
  • diskless (repl-diskless-sync : yes, 7 버전 이상 디폴트)
    • repalicaof 명령어로 복제를 시작
    • 슬레이브 노드로 소켓통신을 통해 RDB 데이터를 전송
    • RDB를 전송하기 시작한 이후의 마스터 노드에서 실행되는 모든 커맨드는 RESP 형태로 Replication Buffer 에 저장함
    • 슬레이브 노드에서는 이 RDB데이터를 RDB파일로 저장
    • 복제본의 데이터를 모두 삭제한뒤 RDB 파일 로드 
    • Replication Buffer 에 쌓여있는 커맨드를 슬레이브노드로 전송하여 데이터 동기화
    • 복제 연결이 시작된 상태에서 다른 복제 요청은 큐에 대기하고 이전 요청이 끝나기 전까지 복제를 시작할 수 없음
    • repl-diskless-sync-delay 이 옵션 값만큼 복제를 대기하고 대기하는 동안 다른 복제 요청이 들어올 경우에는 대기시간이후 동시에 복제를 시작함
• 복제연결이후
  • 마스터에서 클라이언트가 요청한 커맨드를 실행하고 클라이언트로 응답
  • 이후 비동기로 슬레이브 노드로 커맨드 전달 
  • 마스터에서 요청처리 완료후 슬레이브로 전달하기전 마스터가 비정상 종료될 경우 슬레이브에 데이터가 유실될 수 있음

복제 데이터 일관성

• 모든 레디스 인스턴스는 replication id를 갖고있음
• 복제그룹의 replication id는 모두 동일함
• INFO Replication command : replication id와 오프셋을 기준으로 마스터와 복제본간의 일치 상태를 확인

Partial resynchronization

• 복제 연결이 일시적으로끊길 경우 재 연결시 RDB 파일을 새로 만들어 동기화 하는것은 비효율적임
• 백로그 버퍼를 이용하여 복제가 끊긴 시점부터 부분적으로 복제하도록 하는 기능 (PSYNC)
• 백로그 버퍼에 재 연동하려는 오프셋이 존재하지 않거나 replication id가 마스터와 다를 경우 에는 full resync 시도
  • repl-backlog-size : 백로그 버퍼 사이즈 설정
  • repl-backlog-ttl : 이 시간이 경과하면 삭제
• 복제본은 마스터로 승격될 가능성이 항상 존재하기 때문에 백로그 버퍼를 해제 하지 않음

복제 그룹에서 새로운 마스터가 선출 될 경우

• 기존 마스터가 비정상 종료되고 복제본 중 새로운 마스터가 선출될 경우 replication id는 새로 생성됨
• 이 경우 승격되지 않은 다른 복제본은 새로운 마스터와 복제 연결을 하게 됨
• 두 노드는 동일한 마스터로부터 복제 중이었으므로 Partial resynchronization이 가능함
• 이를 위해 secondary replication id가 필요 함
• secondary replication id : master_replid2 속성에 기존의 replid가 저장되고 복제 요청 시 마스터로 전달하여 partial resync가 가능

복제본 계층 구조

• A - B - C 
• master 노드 A를 B 노드가 복제하고 C 노드는 B 노드로부터 복제하는 경우 
• B 노드에만 데이터 변경이 발생하더라고 C 노드로 복제 되지는 않음
• A 와 C 노드는 동일한 데이터로 복제됨

유효하지 않은 복제본

• replica-serve-stale-data=yes(default) 옵션으로 처리방식 결정
• 기본적으로 유효하지 않은 경우에도 클라이언트로 데이터를 전달
• no 로 설정할 경우 Sync with master in progress 라는 오류 반환

고려사항

• 슬레이브가 마스터의 상태를 모를 경우 데이터 유실이 발생할 수 있음
• 네트워크 / 디스크 용량 등의 문제로 복제가 실패하는 경우에 대한 모니터링과 처리
• 백업 기능을 사용하지 않는 경우 

센티널

마스터와 슬레이브 노드의 상태를 모니터링하여 문제 발생 시 자동으로 failover 를 진행 시킴

모니터링, 자동failover, 클라이언트에 인스턴스 구성정보 전달

동작방식

• sentinel.conf 파일에 port, sentinel monitor 마스터노드명 쿼럼값 등을 입력 
  • 복제노드는 자동으로 찾으므로 따로 설정하지 않음
• redis-sentinel sentinel.conf / redis-server sentinel.conf --sentinel 두가지 명령어중 하나로 인스턴스를 띄움
• 최소 3대이상의 독립적인 인스턴스를 실행(SPOF 방지)
• redis-cli -p 26379(일반적으로 레디스 포트에 2를 붙임) 로 접속
  • SENTINEL master 마스터명 을 이용하여 마스터 정보를 조회, 데이터는 조회할 수 없음
  • SENTINEL replicas 마스터명 을 이용하여 복제본 정보 조회
  • SENTINEL sentinels 마스터명 을 이용하여 센티널 정보 조회
  • SENTINEL ckquorum 마스터명 을 이용하여 쿼럼 정보 조회
• 인스턴스 정보전달
  • 클라이언트가 센티널에 레디스 구성 정보 요청을 보내면 구성정보를 응답으로 주고 클라이언트는 마스터 노드에 직접 접속하여 커맨드 처리
• failover
  • down-after-milliseconds 에 정의된 시간안에 ping에 대한 응답이 오지 않으면 마스터가 다운됐다고 판단. 상태를 sdown(subjectly down)으로 변경
  • 다른 센터널 서버들에 장애 상황 전달 (SENTINEL is-master-down-by-addr ip port epoch)
  • 다른 센티널 서버로부터 장애상황 응답을 받고 쿼럼값이상으로 장애 상황이 인지되면 odown(objectly down) 으로 상태 변경
    • 복제본이 다운된경우에는 sdown 상태만 관리
  • epoch(failover 버전) 값 증가, 새로운 failover 처리시 마다 1씩 증가
  • epoch값을 증가시킨 센티널은 센티널 리더 선출 요청. 증가시킨 epoch 값을 같이 전달
  • 복제본 선정
    • redis.conf 파일에 명시된 replica-priority 가 낮은
    • 마스터로부터 더 많은 데이터를 수신한 복제본
    • 모두 동일하다면 runId 사전순으로 작은 복제본
  • 선정된 복제본에는 slaveof no one 수행 기존 마스터로부터 복제 연결 중단
  • 복제 연결 변경 replicaof newip newport

클러스터

레디스 클러스터는 여러 대의 레디스 노드를 하나의 분산 시스템으로 관리하는 기술로, 데이터의 분산 저장(샤딩)과 고가용성 제공

• 데이터 샤딩, 자동 failover 등을 통한 고가용성, 확장성 확보
• 데이터 샤딩
  • 마스터 최대 1000개까지 확장 가능
  • 레디스 자체 관리
  • 키가 할당된 마스터 노드로 연결 리디렉션
  • 클라이언트는 클러스터 내에서 특정 키가 어떤 마스터에 저장돼 있는지 캐싱
  • 모든 데이터는 해시슬롯에 저장, 총 16384개
  • 해시슬롯 = CRC16(key) mod 16384 
  • 다중키는 여러개 노드의 해시슬롯에 저장되어 있을 수 있으므로 다중키 커맨드는 사용 불가. 
    • 해시태그를 이용하여 처리가능
• 고가용성
  • 클러스터 구성에 속한 노드는 서로를 모니터링 함
  • 자동 failover
  • 클러스터 버스를 이용한 독립적인 통신, cluster_bus_port 값을 지정하지 않으면 10000을 더한 16397 포트를 사용

failover

마스터 노드에 장애가 발생할 경우 해당 마스터의 복제본은 다른 마스터 노드들에게 페일오버 시도에 대한 투표 요청

과반수 이상 마스터 노드들에서 투표를 받는 경우 해당 복제본은 마스터로 승격

마스터로 승격되어 슬레이브 노드가 없을때 다시 장애가 발생할 경우 cluster-require-full-coverage 에 따라 처리

• yes (default) : 데이터의 정합성을 위해 클러 스터 전체 상태 fail 
• no : 장애가 발생한 노드만 에러 처리

자동 복제본 마이그레이션

• cluster-allow-replica-migration : yes
• cluster-migration-barrier : 1 ( 마스터가 가져야할 최소 복제본 수)
• 가장 많은 복제본이 연결된 마스터노드의 복제본 중 하나를 사용

실행

• redis.conf 파일에 cluster-enabled = yes 로 설정
• redis-cli -cluster create host:port host2:port --clusteer-replicas 1
• cluster nodes 명령어로 상태 확인

동작방식

• 하트비트패킷을 이용하여 노드들간의 상태 확인
  • epoch : 버전
  • 비트맵 : 해시슬롯 비트맵
  • 플래그 : 마스터/복제본
  • 클러스터 상태 : down/ok
  • 가십섹션 : 클러스터내의 다른 노드 정보
• 해시슬롯 구성 전파
  • 하트비트패킷
  • 업데이트메시지 : epoch 값이 오래된 경우 업데이트 메시지를 보내 해시슬롯 구성 업데이트
  • 해시슬롯 구성의 변경은 failover / 리샤딩 중에만 발생
• 노드핸드셰이크
  • 방향성이 없는 cluster meet 커맨드를 보내고 이를 받은 노드는 자신이 알고 있는 다른 노드들에 전파
  • 이를 통해 이미 알고 있는 노드들끼리만 통신
  • 클러스터 내부의 모든 노드들은 풀 메쉬 연결
• 리디렉션
  • MOVED : 클라이언트가 요청한 커맨드를 처리할 키의 해시슬롯이 현재 노드가 아닐때 적절한 노드의 정보로 리턴, 해시슬롯 맵 갱신
  • ASK : 현재요청은 리디렉션하지만 이후 요청은 현재 노드로 요청. 해시슬롯 맵 갱신 안함
• failover
  • NODE_TIMEOUT 시간보다  오랫동안 ping에 대한 응답을 받지 못한 경우 노드 유형에 관계없이 PFAIL(Possible failure) 상태로 플래그
  • 클러스터내의 다른 노드가 보낸 하트비트패킷에서 PFAIL/FAIl 알림을 받는 경우 FAIL로 플래깅
  • 복제본은 마스터 상태에 따라 직접 failover 시도
    • 마스터가 FAIL 상태
    • 마스터가 1개 이상의 해시슬롯을 갖는 경우
    • 마스터와 복제가 끊어진지 설정된 값보다 오래된 경우
  • 클러스터 내의 마스터 노드에 투표요청(FAILOVER_AUTH_REQUEST)
  • FAILOVER_AUTH_ACK 패킷으로 투표
    • 동시에 다른 복제본 승격을 방지하기 위해 NODE_TIMEOUT*2 시간동안 같은 마스터의 복제본에게 투표 금지
    • 작은 epoch 값의 AUTH_ACK는 무시
  • NODE_TIMEOUT*2 시간 동안 과반수 이상의 마스터로부터 ACK 오는 경우 FAILOVER 진행
    • 응답이 오지 않아 중단된 경우 NODE_TIMEOUT*4 지연후에 재 투표 시도 가능

모니터링

• redis_exporter
• node_exporter
• alertmanager
• prometheus
• grafana