关于TDengine开源版备份的问题

【TDengine 使用环境】
生产环境

【TDengine 版本】
3.3.2

【操作系统以及版本】
centos7.9

【部署方式】容器/非容器部署
非容器部署

【集群节点数】

3

【集群副本数】

1

【遇到的问题:问题现象及影响】

我的tdengine采用集群部署,版本3.3.2,其中1、2节点占用5.4T空间,3节点几乎没有占用

问题:我在3节点使用taosdump备份数据库时,备份下来的数据占用9T空间,且还没备份完,请问这是什么原因

你应该只使用了3节点部署集群,建库的时候并未指定3副本,并且没有提前规划vnode分布情况,vnode分布不均匀导致1、2节点占用存储数据量大,3节点存储数据量少。

使用taosdump备份下来的数据没有存在库里压缩率高,所以备份下来的数据文件大小会翻倍

您好,有几个问题需要再次向您确认一下

  • 建库的时候并未指定3副本
    由于去年没有预算,采用的是tdengine开源版,开源版貌似不能指定3副本是吗?
  • 并且没有提前规划vnode分布情况,vnode分布不均匀导致1、2节点占用存储数据量大,3节点存储数据量少
    请问这个问题现在有办法解决吗?或者有办法让数据分布均匀一点吗?
  • 使用taosdump备份下来的数据没有存在库里压缩率高,所以备份下来的数据文件大小会翻倍请问这个问题备份时是否可以进行压缩?或者有没有其他办法 在不停止服务的情况下,直接备份数据目录是否可行?
  1. 开源版建库时可以指定3副本
  2. vnode分布不均匀,目前较好的方法就是建新库,规划好vnode分布,然后将数据从原库导入到新库中
  3. taosdump可以分时间段进行备份,备份后可以再尝试进行压缩,不停服务的情况下不能直接备份数据目录文件,如果要备份数据目录文件一定要先把taosd服务停掉。

感谢,另外关于taosdunp指定时间段备份,官方文档如下:
支持按时间区间筛选数据,未指定则备份全量。命令示例:taosdump -S '2024-01-01T00:00:00+0800' -E '2024-01-02T00:00:00+0800' -D db01 -o /data/backup/time_range-S-E 分别指定起始和结束时间)。

请问这个起始和结束时间,指的是数据库表中的ts字段吗?

是的,指的表中的首列时间戳列