弹性数据库连接池探活策略调研(二)——Druid

弹性,数据库,连接池,策略,调研,druid · 浏览次数 : 220

小编点评

**Druid连接池探活策略最佳实践** **简介** Druid是一个支持连接池的 Java 数据库存管理系统。在使用 Druid 时,要考虑如何实现连接池的探活策略。本文将介绍如何在 Druid 中实现最佳实践的连接池探活策略。 **参数** Druid 支持多个连接池探活参数,这些参数用于控制连接池的探活行为。以下是一些重要参数: - **initialSize**:初始化连接数量。 - **maxActive**:允许的最大连接数量。 - **minEvictableIdleTimeMillis**:空闲连接的最小生存时间。 - **testOnBorrow**:在获取连接之前检测连接是否有效。 - **testWhileIdle**:在空闲时间超过指定值时执行探活检测。 - **keepAlive**:启用或关闭 keepalive 连接。 - **keepAliveBetweenTimeMillis**:keepalive 连接的间隔时间。 **最佳实践** - 使用 **testWhileIdle** 参数来实现探活。**testWhileIdle**参数控制了在空闲时间超过指定值时执行探活检测的频率。 - 设置 **keepAlive** 参数以启用或关闭 keepalive 连接。 - 设置 **keepAliveBetweenTimeMillis** 参数以指定 keepalive 连接的间隔时间。 - 在 **minEvictableIdleTimeMillis** 和 **keepAliveBetweenTimeMillis** 中设置合理的值。 **示例配置** ```properties # TestWhileIdle配置 testWhileIdle=true # Keep alive 配置 keepAlive=true keepAliveBetweenTimeMillis=30000 # Min evictable idle time minEvictableIdleTimeMillis=300000 ``` **结论** 通过设置合适的连接池探活参数,您可以优化 Druid 的性能并最大限度地利用连接池的资源。

正文

前言

上一篇文章中,我们介绍了弹性数据库连接失效的背景,并探讨了HikariCP连接池探活策略的相关内容。在本文中,我们将会继续探讨另一个线上常用的连接池——Druid,并为您介绍如何在使用Druid时实现最佳实践的弹性数据库连接池探活策略。

Druid

Druid的版本迭代更新比较快,同时探活配置的参数也比较多,这导致即使是相同的参数在不同的版本中达到的效果也可能不一样。但与探活相关的逻辑实现只存在源码里的两个函数里, 我们先列举一下跟Druid探活相关的参数,在具体看一下源码的实现对这些参数的使用。日后我们在开发中遇到配置探活不生效的情况下,可以看一下对应版本源码来判断自己的探活是否配置正确。

下面是与Druid探活相关的参数:

参数名称 说明 默认值
initialSize 初始化时建立物理连接的个数。初始化发生在显示调用init方法,或者第一次getConnection时。 0
minIdle 最小连接池数量。 0
maxActive 最大连接池数量。 8
testOnBorrow 申请连接时执行validationQuery配置的SQL检测连接是否有效,做了这个配置会降低性能。 false
testOnReturn 归还连接时执行validationQuery检测连接是否有效,做了这个配置会降低性能。 false
testWhileIdle 建议配置为true,不影响性能,并且保证安全性。在连接池中申请连接的时候检测,如果空闲时间大于timeBetweenEvictionRunsMillis,执行validationQuery检测连接是否有效。 大多数版本为True
timeBetweenEvictionRunsMillis 1) Destroy线程会检测连接的间隔时间,每隔这个值的时间就会执行一次DestroyTask。 2) testWhileIdle的判断依据,详细看testWhileIdle属性的说明。 大多数版本是1分钟
keepAlive 连接池中的minIdle数量以内的连接,空闲时间超过minEvictableIdleTimeMillis,则会执行探活操作此参数在1.0.28以上的版本才支持 详细说明参考官方文档。 false
keepAliveBetweenTimeMillis 配合keepAlive使用在低版本不支持,如果空闲时间小于timeBetweenEvictionRunsMillis但大于keepAliveBetweenTimeMillis扔执行探活操作 大多数版本是2分钟
validationQuery 用来检测连接是否有效的sql,要求是一个查询语句。 select 1
validationQueryTimeout 单位:秒,检测连接是否有效的超时时间。底层调用jdbc Statement对象的void setQueryTimeout(int seconds)方法
minEvictableIdleTimeMillis 连接空闲时间大于该值时关闭空闲连接大于minIdle的连接,类似hikaricp的idleTimeout 30分钟
maxEvictableIdleTimeMillis 连接空闲时间大于该值时不管minIdle都关闭该连接,类似hikaricp的maxlifetime(低版本不支持) 7小时

Druid的探活主要有以下两个函数来实现:

  • com.alibaba.druid.pool.DruidDataSource#getConnectionDirect

getConnectionDirect是每次从连接池中取连接时会被调用的函数。我们从下面的代码中可以看出,如果testOnBorrow为true,则每次获取连接之前都会检测连接是否有效。如果testOnBorrow为false且testWhileIdle为true,则需要判断连接的空闲时间是否超过timeBetweenEvictionRunsMillis设置的值,如果超过则进行探活检测。失效的连接会被丢弃,并且会补充到连接池的minIdle数量。timeBetweenEvictionRunsMillis在大多数版本中的默认值为1分钟。只要这个值设置的时间小于十分钟,并且保证testWhileIdle开启,就能保证拿不到网关关闭的失效连接。

在不支持keepalive的低版本中,只能依靠testOnBorrow或testWhileIdle来进行探活。建议配置testWhileIdle来进行探活。在高并发的场景下,这种方式的性能消耗会更小一些。

  • com.alibaba.druid.pool.DruidDataSource#shrink(boolean, boolean)

在下面的代码中我们可以看出,shrink方法是在DestroyTask线程的run方法中调用的,用于销毁连接池中的连接。如果timeBetweenEvictionRunsMillis大于0,则每隔这个时间间隔就会调用destroyTask.run(boolean, boolean)方法,即执行shrink方法。

从上面的代码中可以看出,shrink方法会使用keepAlive参数。需要注意的是,在不同版本的Druid中,keepAlive参数的支持和实现逻辑可能不同。官方建议在使用keepAlive参数时,应该使用1.1.21以上的版本。尽管官方文档中说明了空闲时间超过minEvictableIdleTimeMillis,就会执行探活操作,但是在高版本中,这个探活操作的执行时间也受到了keepAliveBetweenTimeMillis参数的影响。因此,在高版本中,如果想要正确地使用keepAlive参数,就需要了解其在具体版本中的实现逻辑。

下面代码是1.1.10和1.1.21版本中关于shrink方法的源码对比:

首先看一下1.1.10版本的源码,它首先会判断连接空闲时间是否大于minEvictableIdleTimeMillis,如果是,则接下来进行第二步的判断:是否是多于minIdle的空闲连接。如果是,就将这些连接加入到驱逐连接的数组中,以便进行后续的驱逐操作。如果不是,就再次判断连接空闲时间是否大于maxEvictableIdleTimeMillis,如果是,则将这些连接加入到驱逐连接的数组中。如果也不是,则进行最后的判断:是否开启了keepAlive配置。如果开启了,就将这些连接加入到保活连接数组中,以进行后续的探活操作。

在1.1.21版本中,shrink方法的总体逻辑与1.1.10版本类似,但是新增了一个名为keepAliveBetweenTimeMillis的参数。这个参数决定了使用keepAlive进行探活的时间间隔,其默认值为2分钟,keepalive开启且空闲时间大于这个值会进行探活。

另一个不同点是,在进行探活操作时,1.1.10版本仅会关闭无效的连接,但1.1.21版本则更进一步,除了关闭无效连接外,还会自动添加连接以达到minIdle的最小连接数。

1.1.10 1.1.21

总结,druid的探活参数在1.0.28版本之前没有定时的探活功能只能在每次拿到连接前进行检测是否有效,建议配置testWhileIdle为true在高并发情况下不会太影响性能,如果对可用性要求高的可以开启testOnBorrow,以在每次获取连接时检测连接的有效性。在高版本中可以用keepAlive参数对连接进行保活。针对线上使用Druid连接池的应用建议使用支持keepAlive的1.1.21或者更高版本。

JED配置模版:

Druid1.1.10

<propertyname="testWhileIdle"value="true"/>    
<propertyname="validationQuery"value="SELECT 1"/>    
<propertyname="timeBetweenEvictionRunsMillis"value="30000"/>    
<propertyname="minEvictableIdleTimeMillis"value="300000"/>
<propertyname="keepAlive"value=true/>

此版本支持keepAlive可以配置minEvictableIdleTimeMillis时间小于10分钟,能够高效的进行探活防止网关关闭连接。

Druid1.1.9

同1.1.10

Druid1.0.9

<propertyname="testWhileIdle"value="true"/>    
<propertyname="validationQuery"value="SELECT 1"/>    
<propertyname="timeBetweenEvictionRunsMillis"value="30000"/>    
<propertyname="minEvictableIdleTimeMillis"value="300000"/>

此版本不支持keepAlive只能在获取连接对象的时候检测,对可用性高的也可以开启testOnBorrow。

作者:京东零售 王雷鑫

来源:京东云开发者社区 转载请注明来源

与弹性数据库连接池探活策略调研(二)——Druid相似的内容:

弹性数据库连接池探活策略调研(二)——Druid

在上一篇文章中,我们介绍了弹性数据库连接失效的背景,并探讨了HikariCP连接池探活策略的相关内容。在本文中,我们将会继续探讨另一个线上常用的连接池——Druid,并为您介绍如何在使用Druid时实现最佳实践的弹性数据库连接池探活策略。

弹性数据库连接池探活策略调研(三)——DBCP

在之前的文章中,我们介绍了弹性数据库连接失效的背景,并探讨了HikariCP、Druid连接池探活策略的相关内容。在本文中,我们将会继续探讨另一个线上常用的连接池——DBCP,并为您介绍如何在使用DBCP时实现最佳实践的弹性数据库连接池探活策略。

弹性数据库连接池探活策略调研(一)——HikariCP

# 调研背景: 数据库连接建立是比较昂贵的操作(至少对于 OLTP),不仅要建立 TCP 连接外还需要进行连接鉴权操作,所以客户端通常会把数据库连接保存到连接池中进行复用。连接池维护到弹性数据库(JED)的长连接,弹性数据库默认不会主动关闭客户端连接(除非报错),但一般客户端到弹性数据库之间还会有负

学node 之前你要知道这些

初识nodejs 19年年底一个偶然的机会接到年会任务,有微信扫码登录、投票、弹幕等功能,于是决定用node 来写几个服务,结果也比较顺利。 当时用看了下koa2的官方文档,知道怎么连接数据库、怎么映射表实体,怎么处理http,怎么处理异常等,就可以直接写起来了。从应用层面上来说 nodejs 入门

文盘Rust -- rust 连接云上数仓 starwift

最近想看看 rust 如何集成 clickhouse,又犯了好吃懒做的心理(不想自己建环境),刚好京东云发布了兼容ck 的云原生数仓 Starwfit,于是搞了个实例折腾一番。 Starwfit 是京东云自主研发的新一代云原生数据仓库,通过存算分离降低了存储成本,同时兼具性能和扩展弹性。其写入和查询速度可达到传统数据仓库的数倍,为用户提供实时数据分析能力。广泛应用于流量分析、精准营销、用户画像、广

华为云GaussDB以技术创新引领金融行业分布式转型

摘要:分布式数据库以大集群规模、弹性伸缩等优异特性,满足了银行业务发展的多种需求,也因此成为各大银行关键基础设施技术创新建设的首选。 今天,由北京先进数通与华为联合主办的“银行业数字化转型实践交流会“第二站在成都顺利进行,各行业专家在现场一起交流了金融行业数字化转型的技术创新和实践成果。华为中国HC

云原生时代数据库运维体系演进

数据库运维面临着大规模数据库实例难以有效运维、数据库难以做好资源弹性伸缩以及个人隐私数据安全难以保障这三个方面的挑战。对此,vivo给出了自身的应对方案。

[转帖]云原生时代数据库运维体系演进

https://www.jianshu.com/p/64019c3b09d1 作者:vivo 互联网服务器团队- Deng Song 本文根据邓松老师在“2022 vivo开发者大会"现场演讲内容整理而成。 数据库运维面临着大规模数据库实例难以有效运维、数据库难以做好资源弹性伸缩以及个人隐私数据安全

数字化时代,校园生活还可以这样过

摘要:今日校园携手华为云数据库联合打造稳定高效的数据底座服务,基于云原生数据库GaussDB(for Cassandra) 提供的超强读写、弹性扩展、便捷管理等能力,高效支撑业务稳定运行。 随着信息技术的发展,移动校园APP走入万千高校,不仅为广大师生提供了高效便捷的校园服务,也为校园生活增添了更多

业务“兔”飞猛进,只因他们做对了这件事

摘要:云原生数据库逐渐成为数据库行业的“新宠”,未来会有越来越多企业选择云原生化,云原生数据库将成为企业数字化转型的重要选择。 数据库作为企业数字化转型的基石,与云计算相结合打造了云原生数据库,云原生数据库利用云平台的优势,更能满足企业对资源弹性调度、按需使用、扩展性、性能降本增效以及各种复杂场景的