【TDengine 使用环境】
测试环境
【TDengine 版本】
3.3.8.1
【操作系统以及版本】
debian 11
【部署方式】容器/非容器部署
非容器部署
【集群节点数】2个
【集群副本数】1个
【描述业务影响】数据写入每天凌晨01:50 左右出现插入性能下降
【问题复现路径/shan】做过哪些操作出现的问题
批量插入性能下降,程序启动4个线程写入,每次间隔100ms
【遇到的问题:问题现象及影响】
多次测试启动程序10个小时、6个小时和4个小时后,第2天凌晨01:50准时数据写入性能下降。
【资源配置】
2个节点,每个节点8核16GB内存256存储。
【报错完整截图】(不要大段的粘贴报错代码,论坛直接看报错代码不直观)
在01:50写入性能下降后,过一段时间还能恢复吗,还是下降后就一直这样了?
在出现问题的时候,请查看此时系统的资源情况:cpu、磁盘io
top -Hp <taosd进程号> 看看是什么线程占用cpu;
iostat -dmx 1 观察一段时间,看看磁盘io 是否有瞬时瓶颈;
问题描述:
没有恢复,第一天16多启动程序开始批量插入数据,第2天早上统计数据:17:00-01:00点,每小时有70-90万条数据写入,02:00开始下降到30万条左右。我看了写入日志,从01:50左右队列里面就会开始堆积数据。只有重启程序才能恢复插入的速度。
资源消耗:
第2天早上我看2台Tdengine数据库的cpu和内存,都很低,CPU不到20%。
数据每小时批量插入截图
到现在,写入队列堆积了87万条数据,总共8个线程负责写,每个线程批量写入1500条,每个线程写入1500条需要消耗30秒左右。
写入程序是什么语言写的? 用的是 native 方式,还是 websocket方式?