Td批量插入数据每天凌晨01:50 左右出现插入性能下降

【TDengine 使用环境】
测试环境

【TDengine 版本】

3.3.8.1

【操作系统以及版本】

debian 11

【部署方式】容器/非容器部署

非容器部署

【集群节点数】2个

【集群副本数】1个

【描述业务影响】数据写入每天凌晨01:50 左右出现插入性能下降

【问题复现路径/shan】做过哪些操作出现的问题

批量插入性能下降,程序启动4个线程写入,每次间隔100ms

【遇到的问题:问题现象及影响】

多次测试启动程序10个小时、6个小时和4个小时后,第2天凌晨01:50准时数据写入性能下降。

【资源配置】

2个节点,每个节点8核16GB内存256存储。

【报错完整截图】(不要大段的粘贴报错代码,论坛直接看报错代码不直观)

在01:50写入性能下降后,过一段时间还能恢复吗,还是下降后就一直这样了?

在出现问题的时候,请查看此时系统的资源情况:cpu、磁盘io

top -Hp <taosd进程号> 看看是什么线程占用cpu;

iostat -dmx 1 观察一段时间,看看磁盘io 是否有瞬时瓶颈;

问题描述:
没有恢复,第一天16多启动程序开始批量插入数据,第2天早上统计数据:17:00-01:00点,每小时有70-90万条数据写入,02:00开始下降到30万条左右。我看了写入日志,从01:50左右队列里面就会开始堆积数据。只有重启程序才能恢复插入的速度。

资源消耗:
第2天早上我看2台Tdengine数据库的cpu和内存,都很低,CPU不到20%。

数据每小时批量插入截图

到现在,写入队列堆积了87万条数据,总共8个线程负责写,每个线程批量写入1500条,每个线程写入1500条需要消耗30秒左右。

写入程序是什么语言写的? 用的是 native 方式,还是 websocket方式?

java,连接用的native