磁盘占用率高,压缩率3000%+但单表压缩率正常

【TDengine 使用环境】测试

【TDengine 版本】TDengine TSDB-OSS 3.3.7.0

【操作系统以及版本】Red Hat 11.5.0-5

【部署方式】非容器部署

【集群节点数】单机部署

【集群副本数】/

【描述业务影响】磁盘占用率高

【遇到的问题:问题现象及影响】

taos> show disk_info;
\_db_usage            |

Compress_ratio=\[3555.33%\]      |
Disk_occupied=\[119311193k\]     |
Query OK, 2 row(s) in set (0.014474s)

但展示单表数据量及压缩率正常,其他几个表也是类似情况。

taos> SHOW TABLE DISTRIBUTED gfs.weather_f \G;
*************************** 1.row ***************************
_block_dist: Total_Blocks=[4907] Total_Size=[439828.28 KiB] Average_size=[89.63 KiB] Compression_Ratio=[27.63 %]
*************************** 2.row ***************************
_block_dist: Block_Rows=[10186147] MinRows=[100] MaxRows=[2977] AvgRows=[2075]
*************************** 3.row ***************************
_block_dist: Inmem_Rows=[26793] Stt_Rows=[3724] 
*************************** 4.row ***************************
_block_dist: Total_Tables=[3424] Total_Filesets=[2] Total_Vgroups=[1]
*************************** 5.row ***************************
_block_dist: --------------------------------------------------------------------------------
*************************** 6.row ***************************
_block_dist: 0300 |||  181 (3.69%)
*************************** 7.row ***************************
_block_dist: 0500 ||||  214 (4.36%)
*************************** 8.row ***************************
_block_dist: 0700 ||||  193 (3.93%)
*************************** 9.row ***************************
_block_dist: 0900 ||||  234 (4.77%)
*************************** 10.row ***************************
_block_dist: 1100 ||||  217 (4.42%)
*************************** 11.row ***************************
_block_dist: 1300 ||||  239 (4.87%)
*************************** 12.row ***************************
_block_dist: 1500 ||||  205 (4.18%)
*************************** 13.row ***************************
_block_dist: 1700 ||||  205 (4.18%)
*************************** 14.row ***************************
_block_dist: 1900 ||||  239 (4.87%)
*************************** 15.row ***************************
_block_dist: 2100 ||||  217 (4.42%)
*************************** 16.row ***************************
_block_dist: 2300 ||||  234 (4.77%)
*************************** 17.row ***************************
_block_dist: 2500 ||||  193 (3.93%)
*************************** 18.row ***************************
_block_dist: 2700 ||||  214 (4.36%)
*************************** 19.row ***************************
_block_dist: 2900 |||  181 (3.69%)
*************************** 20.row ***************************
_block_dist: 3100 ||||||||||||||||||||||||||||||||  1941 (39.56%)
*************************** 21.row ***************************
_block_dist: 3300 |
*************************** 22.row ***************************
_block_dist: 3500 |
*************************** 23.row ***************************
_block_dist: 3700 |
*************************** 24.row ***************************
_block_dist: 3900 |
*************************** 25.row ***************************
_block_dist: 4100 |



排查发现建立联合主键,会使磁盘占用指数型增大

weather_hv
Create Table: CREATE STABLE `weather_hv` (`ts` TIMESTAMP ENCODE 'delta-i' COMPRESS 'lz4' LEVEL 'medium', `code` INT ENCODE 'simple8b' COMPRESS 'lz4' LEVEL 'medium' COMPOSITE KEY, ……

是实际占用真的指数级增大,还是 show 命令显示不准确

磁盘实际占用真的增大。具体设计是这样的,进行气象预测数据存储,时间ts和数据发布时间fb_ts以及地区code为唯一索引,使用COMPOSITE KEY定义code,子表tag为fb_ts。现在怀疑表格设计不当,时间格式的fb_ts不能作为子表tag。目前改设计用ts的毫秒级时间戳作为版本设定。

taos> use gfs_seamless_v;
Database changed.

taos> show disk_info;
           _db_usage            |
=================================
 Compress_ratio=[355.54%]       |
 Disk_occupied=[20298971k]      |
Query OK, 2 row(s) in set (0.038104s)

taos> use gfs_seamless;
Database changed.

taos> show disk_info;
           _db_usage            |
=================================
 Compress_ratio=[302.79%]       |
 Disk_occupied=[14379667k]      |
Query OK, 2 row(s) in set (0.060998s)

修改后仍然发生类似的数据库占用空间和表占用空间占用不一致问题,压缩率也超过了100%,
统计了表的数据量和压缩率如下(使用SHOW TABLE DISTRIBUTED命令)。表总大小只有3.3g,但数据库磁盘占用已达到33g(使用 SHOW disk_info 命令),参见上面命令行。

请问这个是否合理,如果合理,磁盘空间存储了什么?

需具体看,如遇相同问题,请重新发帖。

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。