⚒️ Kafka Cluster

[jms0522]

📅 08/11

❗️Kafka cluster docker-compose

• docker를 이용한 kafka 기본 세팅.
• 편의성을 위해 kafka ui도 함께 넣어서 구성.
• topic을 관리하여 broker 하나로 사용도 가능.

참고

[jms0522]

📅8/13

❗️topic 생성 후 api 데이터 전송

• 하나로 전부 전송되어 item 별로 잘라 전송.

[jms0522]

✅ topic 생성 시

1. Topic Name

   • 설명: 생성할 토픽의 이름을 지정합니다.
   • 고려사항: 토픽 이름은 고유해야 하며, Kafka 내에서 메시지를 구분하는 데 사용됩니다. 의미 있는 이름을 지정하여 관리하기 쉽도록 하는 것이 좋습니다.

2. Number of Partitions

   • 설명: 토픽이 가질 파티션의 수를 설정합니다.
   • 고려사항:
   • 파티션 수는 병렬 처리를 위한 단위입니다. 파티션이 많을수록 병렬로 처리할 수 있는 소비자(consumer)의 수가 늘어납니다.
   • 그러나 파티션 수가 많으면 오버헤드가 증가할 수 있습니다.
   • 일반적으로, 파티션 수는 예상되는 소비자 수 또는 처리량에 따라 설정합니다.

3. Cleanup Policy

   • 설명: Kafka가 데이터를 삭제하거나 압축하는 방법을 결정합니다.
   • 옵션:
   • Delete: 오래된 데이터를 삭제합니다. 기본 설정입니다.
   • Compact: 중복된 메시지를 압축하여 저장합니다. 주로 로그와 같은 데이터를 저장할 때 사용합니다.
   • 고려사항: 데이터의 보존 전략에 따라 선택합니다. 주기적으로 데이터를 삭제하고 싶은 경우 Delete, 최신 상태만 유지하고 싶은 경우 Compact를 선택할 수 있습니다.

4. Min In Sync Replicas

   • 설명: 프로듀서가 데이터를 성공적으로 기록했다고 간주하기 전에 동기화되어야 하는 최소 복제본 수를 설정합니다.
   • 고려사항:
   • 이 값을 높이면 데이터의 가용성과 신뢰성을 보장할 수 있지만, 지연 시간이 증가할 수 있습니다.
   • 일반적으로 Replication Factor보다 1 낮은 값을 설정합니다.

5. Replication Factor

   • 설명: 각 파티션이 몇 개의 복제본(replica)을 가질지 설정합니다.
   • 고려사항:
   • 복제본 수가 많으면 가용성과 데이터 안전성이 높아집니다.
   • 일반적으로 3을 권장하지만, 이는 클러스터의 크기와 요구 사항에 따라 다를 수 있습니다.

6. Time to Retain Data (in ms)

   • 설명: 메시지가 Kafka에 유지될 최대 시간을 밀리초(ms) 단위로 설정합니다.
   • 옵션:
   • 12 hours, 1 day, 2 days, 7 days, 4 weeks 등의 사전 설정 시간 또는 사용자 정의 시간을 설정할 수 있습니다.
   • 고려사항:
   • 데이터 보존 요구 사항에 따라 다릅니다. 너무 짧게 설정하면 필요한 데이터가 삭제될 수 있으며, 너무 길게 설정하면 스토리지 요구량이 증가할 수 있습니다.

7. Max Size on Disk in GB

   • 설명: 디스크에서 토픽이 차지할 최대 크기를 설정합니다.
   • 고려사항:
   • 이 옵션은 Kafka가 디스크 공간을 초과하지 않도록 제한할 수 있습니다. 보통 제한이 필요하지 않다면 Not Set으로 둡니다.
   • 디스크 공간이 제한적인 환경에서는 이 값을 설정해 디스크 사용량을 관리할 수 있습니다.

8. Maximum message size in bytes

   • 설명: Kafka가 허용하는 메시지의 최대 크기를 설정합니다.
   • 고려사항:
   • 기본적으로 메시지 크기는 1MB로 설정됩니다. 더 큰 메시지를 보내야 한다면 이 값을 조정해야 합니다.
   • 너무 큰 메시지를 허용하면 네트워크 성능에 영향을 줄 수 있습니다.

9. Custom Parameters

   • 설명: 위에서 제공된 기본 옵션 외에 추가로 필요한 파라미터를 정의할 수 있습니다.
   • 고려사항:
   • 특정한 요구 사항이나 Kafka 설정에 따라 추가적인 설정이 필요한 경우 이 옵션을 사용하여 추가 설정을 정의할 수 있습니다.

추천 설정 시나리오

•	일반적인 로그 수집:
•	Partitions: 3 (로그의 병렬 처리 속도에 따라 조정)
•	Cleanup Policy: Delete
•	Replication Factor: 2 또는 3
•	Retention Time: 7 days
•	중요한 거래 데이터:
•	Partitions: 5 (높은 처리량을 위해)
•	Cleanup Policy: Compact
•	Replication Factor: 3
•	Retention Time: 4 weeks

[jms0522]

📅 8.15

❗️ Filebeat를 통한 kafka topic 데이터 수신

✓ 파티션 3개로 지정

• 3개의 파티션에 분산 저장되고 있는 모습.
• 실시간 로그 데이터로 3개로 지정.