服务器磁盘硬盘无空间时导致TDengine连接失败,当磁盘空间释放后,重启TDengine失败

【TDengine 使用环境】
测试环境

【TDengine 版本】

tdengine/tsdb:3.3.8.4

【操作系统以及版本】

CentOS Linux release 7.9.2009 (Core)

【部署方式】容器部署

【集群节点数】

1

【集群副本数】

0

【描述业务影响】

服务不能访问,也无法启动。

【问题复现路径/shan】磁盘空间满了。

【遇到的问题:问题现象及影响】

当服务器的磁盘被占满了以后,TDengine就无法访问了。然后我清理了服务器的资源,保证了有足够的磁盘空间,但是TDengine还是无法访问,但是docker容器服务一直在,如果重启docker后就重启失败。

【资源配置】

2C4G,60G

【报错完整截图】(不要大段的粘贴报错代码,论坛直接看报错代码不直观)

监控组件报错,对业务有影响吗?

这些ERROR 应该没有关系,不是 taosd 服务起不来的原因。
你是docker 中部署的 taosd 服务吗?这是手动启动 taosd 输出的日志吗?

docker容器起不来了啊,直接导致用不了了

是的,日志是我启动docker的时候查的日志。现在不知道为什么起不来。因为容器都起不来,所以没有办法进去看哪些服务在哪些服务不在。

那有设置 taosd 的日志映射到外面,能够看到 taosd 完整的日志输出吗?

容器里面部署哪些服务?

可以,我要具体查看那个日志哪。

taosdlog.0 或 taosdlog.1

基础的服务应该都有吧

taosdlog.0最后一个报错:
ERROR user:root, failed to login from 127.0.0.1 since pass not match, input:dcc5bed04851fec854c035b2e40263b, QID:0xf8f1260a04e60001:0x2f262e30a0400002

ERROR msg:0x7f28d8014628, failed to process since Authentication failure, app:(nil) type:connect, QID:0xf8f1260a04e60001:0x2f262e30a0400002

taosdlog0.0最后一个报错:ERROR failed to connect to server, reason: Authentication failure
taosdlog1.0最后一个报错:ERROR failed to connect to server, reason: Authentication failure

这个报错不关键,不是启动不了的原因。

确定容器启动不了吗?容器日志有异常吗?

总结
总结

此文本将被隐藏

此文本将被隐藏

总结

此文本将被隐藏

我应该是找到问题了,好像是因为磁盘空间满了以后docker的日志写入脏数据导致的。我的另一个容器也启动不了,我把/var/lib/docker/containers/下的容器的日志清空就好了。但是还没试tdengine的(我重新起了一个tdengine),如果在遇到我再试下。

此话题已在最后回复的 10 天后被自动关闭。不再允许新回复。