[转帖]设置kafka 数据保留时间

设置,kafka,数据,保留,时间 · 浏览次数 : 0

小编点评

**单独设置某个topic的数据过期时间** 1. **设置全局参数** ``` ./kafka-configs.sh --zookeeper localhost:2181 --alter --entity-name wordcounttopic --entity-type topics --add-config retention.ms=86400000retention.ms=86400000 ``` 2. **查看设置** ``` ./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name wordcounttopic --entity-type topicsConfigs for topics:wordcounttopic are retention.ms=86400000Q&A如果没有立刻删除的话你可以设置下面参数。 ``` **设置单个topic的数据过期时间** ``` ./kafka-topics.sh --zookeeper localhost:2181 --alter --topic wordcounttopic --config cleanup.policy=delete ``` **注意** - `retention.ms` 表示数据保持的时间（毫秒）。 - `Q` 代表以秒计时的最大时间。 - `delete` 表示数据会被立即删除，而不是保留在服务器上。

正文

https://www.cnblogs.com/gao88/p/12539112.html

kafka 单独设置某个topic的数据过期时间
kafka 默认存放7天的临时数据，如果遇到磁盘空间小，存放数据量大，可以设置缩短这个时间。

全局设置
修改 server.properties

log.retention.hours=72
log.cleanup.policy=delete

单独对某一个topic设置过期时间
如果你这样设置完，可以磁盘空间还是不够，或只有某一个topic数据量过大。

想单独对这个topic的过期时间设置短点，

可以这样设置：

./kafka-configs.sh --zookeeper localhost:2181 --alter --entity-name wordcounttopic --entity-type topics --add-config retention.ms=86400000

retention.ms=86400000 为一天，单位是毫秒。

查看设置：

   ./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name wordcounttopic --entity-type topics

Configs for topics:wordcounttopic are retention.ms=86400000

Q&A
如果没有立刻删除的话你可以设置下面参数。

./kafka-topics.sh --zookeeper localhost:2181 --alter --topic wordcounttopic --config cleanup.policy=delete

参考：https://sukbeta.github.io/kafka-set-topic-retention/