数据库连接配置的策略和实践是怎样的

71次阅读
没有评论

共计 2465 个字符,预计需要花费 7 分钟才能阅读完成。

今天就跟大家聊聊有关数据库连接配置的策略和实践是怎样的,可能很多人都不太了解,为了让大家更加了解,丸趣 TV 小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

一 前言

应用执行 SQL 请求完成的过程中,数据库连接占很重要一部分。尤其是涉及到流量瞬间暴涨,需要创建大量连接,或者网络异常导致重连时,从业务端来看,sql 执行缓慢的问题,此时 sql 执行并非真的慢。本文是基于我们自己的生产环境的 Durid 实践,仅供各位参考,当然不同公司的链路 / 业务压力可能不一样。

二 具体实践

从整体系统的角度,我们要考虑几个点,数据库连接数配置多少合适,针对空闲连接,网络异常的超时时间,如何高效复用连接,druid   版本选择这几个方面来介绍。

2.1 如何设置连接池大小

合适的连接池大小和业务请求的 QPS 和 单个请求的 RT(单位为毫秒)。基本公式:

连接数 = QPS /(1000/RT) + N = QPS * RT /1000 + N

注意: 此处 QPS 和 RT 为单个应用端统计。假定随连接数量增加,客户端能处理的请求数线性增加。

举个例子

比如   一个请求的耗时 rt=2ms, 每个连接能处理的请求数量  S = 1000/2 =500 ,  业务层总请求量是  M=5000 , 那么合理的连接数为  M/S=5000/500=10  为了避免连接数被占满,我们会在上面的连接数的基础上再加上 N  , 最终的连接数为 10+N .

统计平时的最大 QPS 和此时的 RT,以此计算 minIdle,并设置 initialSize = minIdle。

统计峰值时的 QPS 和此时的 RT,以此计算 maxActive。

可以通过以下方法,通过 jmx 观察 Druid 实际的连接池状况,重点关注  ActiveCount:活动连接数,PoolingCount:池子中的连接数。并根据实际情况考虑调整。

java -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+TieredCompilation -XX:TieredStopAtLevel=1 -Xverify:none -client -jar /PATH/cmdline-jmxclient-0.10.3.jar - 127.0.0.1:7777  com.alibaba.druid:type=DruidDataSourceStat  DataSourceList |  grep -E  ActiveCount|PoolingCount

2.2 如何设置超时时间

连接池中的超时时间主要有:

connectTimeout 建立 TCP 连接的超时时间

maxWait 从连接池获取连接的最长等待时间

socketTimeout 发送请求后等待响应的超时时间

其中,connectTimeout 建议不要小于 1200ms。TCP 在建立连接时,SYN 包的超时重传时间为 1s。connectTimeout   设置过短,很可能造成应用发布时,初始化连接池过程中由于网络抖动,或中间网络设备需要初始化状态发生丢包触发超时,从而造成连接池初始化失败而导致发布失败。

socketTimeout 可以根据应用最长的查询返回时间设置。过长会造成生网络问题,或数据库服务有问题时雪崩; 过短也会造成频繁请求超时。不要短于  300ms。TCP 的最小 RTO 为 200ms,并根据延迟动态调整。过短的超时时间会造成单个丢包就造成请求超时。生产环境数据库都配置有 SQL  Killer,会自动杀死执行时间过长的请求。因此,设置过长的 socketTimeout 也是没有意义的。

maxWait 可以根据应用期待的等待时间设置。为避免在发生网络问题,或数据库服务有问题时雪崩,这个时间设置不要过大。下面的默认值 800ms   是个保守的设置。应用可以设置一个更短的时间,如 300ms。过短的时间也会造成在连接池中连接数不足,需要新建连接时造成大量超时。建议不要低于  100ms。

2.3 如何设置连接保持时间

设置连接保持活跃的时间需要考虑是直连还是通过数据库中间件 proxy 连接。一般现在的生产环境大多为:

App -  LVS -  Proxy -  DB

其中应用到 RDS 的访问路径为 App – LVS – Proxy。

其中,LVS 空闲连接保留时间为 90s。Proxy 为了避免访问到已被关闭的连接,自身的空闲连接保留时间为 [70, 85)  s。因此,应用程序为了避免从连接池获取到已被关闭的连接,应当设置自身保留空闲连接时间不能超过 70s。打开 KeepAlive 之后的效果

初始化连接池时会填充到 minIdle 数量。

连接池中的 minIdle 数量以内的连接,空闲时间超过

minEvictableIdleTimeMillis,则会执行 keepAlive 操作。

当网络断开等原因产生的由 ExceptionSorter 检测出来的死连接被清除后,自动补充连接到 minIdle 数量。

timeBetweenEvictionRunsMillis=10000, minEvictableIdleTimeMillis=44000, maxEvictableIdleTimeMillis=55000。

2.4 必选配置项

以下默认配置可以根据实际情况调整。

bean id= cartDataSource   >

1.0.28 版本之后,新加入 keepAlive 配置,缺省关闭。使用 keepAlive 功能,建议使用 1.1.16 或者更高版本。一般业务无需打开,除非分钟请求量在个位数或者启动时间超长导致初始连接都过期。

2.5 druid 版本

建议使用最新版本,不要使用太老的版本,以免遇到 bug。

e.g. Maven 配置:

 dependency   groupId com.alibaba /groupId   artifactId druid /artifactId   version 1.0.27 /version   /dependency

看完上述内容,你们对数据库连接配置的策略和实践是怎样的有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注丸趣 TV 行业资讯频道,感谢大家的支持。

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-07-18发表,共计2465字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)