전송전략

  • fire and forget
    • 메시지를 서버에 전송만하고 성공/실패 여부는 신경 쓰지 않음
    • 메시지 유실 가능성
      • 메시지 직렬화 실패
      • 버퍼가 가득찰 경우 타임아웃 발생
      • 전송 스레드에 인터럽트가 걸리는 경우
      • 애플리케이션은 예외에 대한 아무런 정보를 받지 않음. 
    • 거의 사용하지 않음
  • Synchronous send
    • 카프카는 기본적으로 비동기적으로 동작함
    • 다음 메시지를 전송하기 전에 send가 반환하는 Future 객체의 get 메소드를 이용하여 성공여부 확인
    • 전송지연으로 인한 스레드 대기시 성능 문제 발생가능
    • 브로커가 에러응답 반환
    • 재전송 횟수 소진
    • 거의 사용하지 않음. 예제는 많음
  • Asynchronous send
    • 콜백함수 이용(Callback 인터페이스 구현)
    • onCompletion(RecordMetadata rm, Exception e)
      • e가 null이 아닌경우 에러발생
    • 프로듀서의 메인 스레드에서 콜백이 실행됨
    • 동일한 스레드로 보낸 메시지의 콜백은 보낸 순서대로 실행됨
    • 콜백메소드에서는 블로킹 작업 수행은 권장하지 않음

응답 처리 전략 (acks)

임의의 쓰기 작업에 대한 성공 여부를 판단하기 위해 얼마나 많은 파티션 레플리카카 해당 레코드를 받아야 하는지 설정

  • acks = 0
    • 성공적으로 전달 되었다 간주하고 브로커의 응답을 기다리지 않음
    • 메시지 유실될 수 있음
    • 매우 높은 처리량이 필요할 때 사용
  • acks = 1
    • 리더 레플리카가 메시지를 받는 순간 브로커로부터 성공 응답을 받는다
    • 리더에 크래시가 나고 아직 새로운 리더가 선출되지 않은 경우 에러응답을 받고 재시도
    • 리더에 크래시가 난 상태에서 복제가 안된상태로 새 리더가 선출 될경우 메시지 유실
  • acks = all
    • 모든 in sync 레플리카에 전달되에 브로커가 성공응답
    • 가장 안전
    • 모든 레플리카에 전달되어야 하기 때문에 지연시간은 더 길어질 수 있음

에러처리

  • 재시도 가능한 에러 처리
    • retries : Integer.MAX 
    • delivery.timeout.ms 
    • delivery.timeout.ms 시간내에서 무한히 재시도
    • Network Errors: 네트워크 문제로 인해 발생하는 에러입니다. 예를 들어, Kafka 브로커와의 연결이 일시적으로 끊어진 경우 등이 있습니다.
    • Leader Election: Kafka는 파티션의 리더(replica)에게만 데이터를 쓸 수 있습니다. 리더가 다운되어 새로운 리더가 선출되는 동안 발생하는 에러도 재시도가 가능합니다.
    • Not Enough Replicas: 아직 메시지를 받을 준비가 되지 않은 복제본(replicas) 때문에 발생하는 에러입니다. 이는 복제본이 충분한 데이터를 동기화하지 못한 경우에 발생할 수 있습니다.
    • Not Leader for Partition: 메시지를 쓰려는 파티션의 리더가 변경되었을 때 발생하는 에러입니다. 새 리더로의 재할당 후에 재시도가 가능합니다.
    • Record Too Large: 프로듀서가 보내려는 메시지의 크기가 너무 커서 브로커가 처리할 수 없는 경우 발생합니다. 이는 설정을 조정하여 해결할 수 있지만, 재시도 전에 메시지 크기를 줄여야 할 수도 있습니다.
    • Timeout Errors: 요청에 대한 응답을 Kafka 브로커로부터 지정된 시간 내에 받지 못할 때 발생합니다.
  • 재시도 불가능한 에러 처리
  • Callback 이용

At least once 보장

  • 프로듀서 Retry + Ack 전략
    • acks = all 이고 delivery.timeout.ms 가 충분히 크게 잡혀 있는 경우 메시지를 모든 레플리카에 복제된 상황에서 리더 레플리카가 크래시 나는 경우 프로듀서는 request.timeout.ms 만큼 기다리고 재시도를 하게 되며, 새로 선출된 리더 레플리카에는 이미 메시지가 복제된 상태이므로 중복 저장되지만 at least once는 보장됨
    • retries, retry.backoff.ms 설정
  • 컨슈머 offset 관리
    • 컨슈머는 메시지를 처리하면 offset을 커밋하게 되고 재시도시에는 커밋한 offset 이후 부터 처리 

순서보장

  • 파티션 내에서 메시지의 순서를 보존
  • retries > 0 , max.in.flight.requests.per.connection >= 1 인 경우 순서가 뒤집어질 수 있다.
  • 성능및 신뢰성을 보장하기 위해 retries > 0, in.flight >= 2 이어야 하므로 enable.idempotence=true할 경우 in.flight 최대 5까지 요청을 허용하며, 순서도 보장되고 재전송시에도 중복이 발생하지 않도록 해줌

메시지 사이즈 고려

  • 프로듀서가 전송하는 메시지의 최대 크기를 설정하는 max.request.size와 브로커가 받아 들일수 있는 메시지의 사이즈를 결정하는 message.max.bytes 설정을 동일하게 맞춰야 함

시리얼라이저

  • 커스텀 시리얼라이저를 구현할 수 있으나, 하위호환성 유지, 직렬화/비직렬화 로직 디버깅, 여러팀에서 같이 사용하는 경우 동시 코드 변경 등의 문제가 발생할 수 있음
  • JSON, 에이브로, 스리프트, 프로토버프와 같은 범용 라이브러리 사용 권장

파티션 할당

  • 키값에 따라 항상 동일한 파티션에 할당되어야 하는 경우 토픽 생성시 파티션을 충분히 크게하고 파티션을 추가하지 않는다. 
  • 파티션 수 변경 시 할당되는 파티션도 달라 질 수 있음

인터셉터

  • 애플리케이션 공통로직을 처리해야 하는 경우 사용
  • 모니터링, 정보추적, 표준 헤더 삽입등
  • ProducerInterceptor
    • ProducerRecord<K, V> onSend(ProducerRecord<K, V> record)
      • 레코드를 브로커로 보내기전, 직렬화되기 직전 호출
      • ProducerRecord 조회 및 수정 가능
      • 유효한 ProducerRecord를 반환하는 것에 주의
    • void onAcknowledgement(RecordMetadata metadata, Exception e)
      • 브로커가 보낸응답을 클라이언트가 받았을때 호출
      • 응답을 변경할 수는 없음. 조회는 가능

 

+ Recent posts

티스토리툴바