[转帖]Kafka 核心技术与实战学习笔记（八）kafka集群参数配置（下）
kafka,核心技术,实战,学习,笔记,集群,参数,配置
·
浏览次数 : 0
小编点评
**一. 参数介绍**
| 参数名 | 描述 |
|---|---|
| **retention.ms** | 设置消息保存时间，默认 7 天 |
| **retention.bytes** | 设置预留磁盘空间，默认 -1，无限使用 |
| **max.message.bytes** | 设置每个 Topic 最大接收的消息大小，默认 2 MB |
| **JVM参数** | kafka服务器端 diam 参数用于 Scale语言编写，最终编译成 Class 文件在 JVM 上运行，因此设置对于 Kafka 集群十分重要 |
| **操作系统参数** | 文件描述符限制，设置为超大值，建议使用 XFS 或 Swapoiness 等性能强于 ext4 的文件系统 |
| **swap** | 设置 swap 的配置，默认 1，但可以设置为接近 0 但不为 0 的值 |
| **提交时间** | 默认 5 秒 |
正文
一.Topic级别参数
Topic的优先级:
- 如果同时设置Topic级别参数和全局Broker参数，那么Topic级别优先
消息保存方面：
- retention.ms:规定Topic消息保存时长。默认是7天。一旦设置将覆盖掉Broker端的全局参数值。
- retention.bytes:规定为该Topic预留多大的磁盘空间。和全局参数作用相识，默认-1，可以无限使用磁盘空间。
消息大小的方面：
- max.message.bytes:决定kafka Broker能够正常接收该Topic最大消息大小。
二.JVM参数
- kafka服务器端diam用于Scale语言编写，但是最终还是编译成Class文件在JVM上运行，因此JVM参数设置对于Kafka集群十分重要。
- Java 8版本及以上
- JVM堆大小设置成6GB
- KAFKA_HEAP_OPTS：指定堆大小。
- KAFKA_JVM_PERFORMANCE_OPTS：指定 GC 参数。
三.操作系统参数
- 文件描述符限制---将它设置成超大值。ulimit -n 1000000
- 文件系统类型--- XFS性能强于ext4，推荐使用XFS
- Swapoiness--- swap 的调优，将 swappniess 配置成一个接近 0 但不为 0 的值，比如 1。
- 提交时间 --默认是 5 秒
文章知识点与官方知识档案匹配，可进一步学习相关知识
与[转帖]Kafka 核心技术与实战学习笔记（八）kafka集群参数配置（下）相似的内容：
