Kafka消息丢失的原因通常涉及多个方面，包括生产者、消费者和Kafka服务端（Broker）的配置和行为。下面将围绕这三个关键点，详细探讨Kafka消息丢失的常见原因，并提供相应的解决方案和最佳实践。总的来说，Kafka消息丢失是一个涉及多个环节的问题，需要从生产者、Broker和消费者三个层面综...
流程 kafka事务使用的5个API // 1. 初始化事务 void initTransactions(); // 2. 开启事务 void beginTransaction() throws ProducerFencedException; // 3. 在事务内提交已经消费的偏移量(主要用于消费
优化金字塔 应用程序层面 框架层面（Broker层面） JVM层面 操作系统层面 应用程序层面：应当优化业务代码合理使用kafka，合理规划主题，合理规划分区，合理设计数据结构； 框架层面：在不改动源码的情况下，从kafka参数配置入手，结合业务体量和运行数据进行调优 JVM层面：在出现明显缓慢和可
Kafka 是一个分布式流处理平台和消息系统，用于构建实时数据管道和流应用。它最初由 LinkedIn 开发，后来成为 Apache 软件基金会的顶级项目。 Kafka 特点是高吞吐量、分布式架构、支持持久化、集群水平扩展和消费组消息消费，具体来说： 高吞吐量：Kafka 具有高性能和低延迟的特性，
Rebalance总览 Rebalance触发条件 (1)消费组成员发生变更，有新消费者加入或者离开，或者有消费者崩溃 (2)消费者组订阅的主题数量发生变更 (3)消费组订阅主题的分区数发生变更 避免不必要的Rebalance 针对（1）中消费者崩溃问题，有时候是Consumer没有在配置的制定时间
系列文章目录 https://zhuanlan.zhihu.com/p/367683572 一. 总体结构 先给一张概览图： 服务端请求处理过程涉及到两个模块：kafka.network和kafka.server。 1.1 kafka.network 该包是kafka底层模块，提供了服务端NIO通信
Kafka 线上性能调优是一项综合工程，不仅仅是 Kafka 本身，还应该从硬件（存储、网络、CPU）以及操作系统方面来整体考量，首先我们要有一套生产部署方案，基于这套方案再进行调优，这样就有了可靠的底层保证，才能保证 Kafka 集群整体的稳定性。 1. 线上部署方案 1.1 操作系统 我们知道
两阶段提交的成立要基于以下假设： - 该分布式系统中，存在一个节点作为协调者，其他节点作为参与者，且节点之间可以进行网络通信。 - 所有节点都采用预写式日志，且日志被写入后即被保存在可靠的存储设备上，即使节点损坏也不会导致日志数据的丢失。 - 所有节点不会永久性损坏，即使损坏后也可以恢复。 ###
https://my.oschina.net/jiagoushi/blog/5600943 下面给出 Kafka 一些重要概念，让大家对 Kafka 有个整体的认识和感知，后面还会详细的解析每一个概念的作用以及更深入的原理 ・Producer：消息生产者，向 Kafka Broker 发消息的客户端
https://www.jianshu.com/p/fd50befccfdd 引言 前几期的评测中，我们对比了Kafka和RocketMQ的吞吐量和稳定性，本期我们要引入一个新的评测标准——软件可靠性。 何为“可靠性”？ 先看下面这种情况：有A，B两辆越野汽车，在城市的周边地区均能很好应对泥泞的路况
https://www.cnblogs.com/wwcom123/p/11181680.html 生产环境中使用Kafka，参数调优非常重要，而Kafka参数众多，我们的java的Configuration代码中，经常设置的参数如下： Properties props = new Propertie
# kafka的学习之二_kafka的压测与GUI管理 ## 第一部分创建topic ``` cd /root/kafka_2.13-3.5.0 bin/kafka-topics.sh --create --bootstrap-server 10.110.139.184:9093 --command
# kafka的学习之一_带SASL鉴权的集群安装与启动 ## 背景 ``` 想开始一段新的里程. 可能会比现在累, 可能会需要更多的学习和努力. kafka可能就是其中之一. 自己之前总是畏缩不前. 不想面对很多压力. 年龄已经很大了, 必须得向前看继续努力了. ``` ## 关于kafka ``
# kafka学习之三_信创CPU下单节点kafka性能测试验证 ## 背景 ``` 前面学习了 3controller+5broker 的集群部署模式. 晚上想着能够验证一下国产机器的性能. 但是国产机器上面的设备有限. 所以想着进行单节点的安装与测试. 并且记录一下简单结果 希望对以后的工作有指
设置虚拟机不同的带宽来进行模拟压测 kafka数据压测 1、公司生产kafka集群硬盘：单台500G、共3台、日志保留7天。 1.1 版本：1.1.0 2、压测kafka。 2.1 使用kafka自带压测工具：bin/kafka-producer-perf-test.sh 命令参数解释： --num
介绍 SASL/PLAIN 是一种简单的 username/password安全认证机制，本文主要总结服务端开启该认证后，命令行客户端进行配置的操作流程。 配置 增加jaas.properties 在kafka的config目录下增加jaas.properties文件指定认证协议为SASL_PLAI
https://www.cnblogs.com/yjt1993/p/14739130.html 本例不使用kerberos做认证，使用用户名和密码的方式来进行认证 1、服务端配置 1.0 配置server.properties 添加如下配置 #配置 ACL 入口类 authorizer.class.
https://www.jianshu.com/p/c1a02fb1779f 介绍 SASL/PLAIN 是一种简单的 username/password安全认证机制，本文主要总结服务端开启该认证后，命令行客户端进行配置的操作流程。 配置 增加jaas.properties 在kafka的confi
kafka2.8之后不适用zookeeper进行leader选举，使用自己的controller进行选举 1.准备工作 准备三台服务器 192.168.3.110 192.168.3.111 192.168.3.112，三台服务器都要先安装好jdk1.8，配置好环境变量， 下载好kafka3.0.0
Apache Kafka Raft 是一种共识协议，它的引入是为了消除 Kafka 对 ZooKeeper 的元数据管理的依赖，被社区称之为 Kafka Raft metadata mode，简称 KRaft 模式。本文介绍了KRaft模式及三节点的 KRaft 集群搭建。 1 KRaft介绍 KR
