数据库查询过高导致的服务器宕机重启,重启后数据损坏无法启动服务

【TDengine 使用环境】
生产环境

【TDengine 版本】

3.3.4.8

【操作系统以及版本】

AWS服务器

Chassis: vm
Virtualization: amazon
Operating System: Ubuntu 22.04.5 LTS
Kernel: Linux 6.8.0-1043-aws
Architecture: x86-64
Hardware Vendor: Amazon EC2
Hardware Model: c5.4xlarge

【部署方式】非容器部署

【集群节点数】非集群

【集群副本数】非集群

【描述业务影响】收集发电数据分析设备异常情况

【问题复现路径/shan】

  1. 使用连表查询语句,导致内存占用率接近100,taosd占用内存45,taosadapter占用55

服务器很快没法连接,AWS日志出现断点

  1. 重启服务器

再次连接数据库已经自动启动,但是连接进去是一个空的数据库

  1. 尝试重启数据库,数据库服务连接失败

分析日志,发现数据文件损坏

  1. 尝试修改数据库目录,重新连接成功确定问题,再次切回数据目录,连接失败
  2. 后续尝试备份mode/wal目录,删除原文件目录以后尝试启动,能启动但是是空的数据库

【遇到的问题:问题现象及影响】

  1. sql语句无上限占用内存,导致无法连接服务器并停止taos服务
  2. 服务器强制重启后数据损坏没法连接

【资源配置】

32G内存 数据量4T

【报错完整截图】

这个情况比较复杂,我让同事联系你看下吧

此话题已在最后回复的 10 天后被自动关闭。不再允许新回复。