【TDengine 版本】
3.2.1.0
【遇到的问题:问题现象及影响】
taosdump怎么dump生产200多亿的数据,怎么优化比较合理,不会导致cpu和内存飙升,我们再生产执行下面的命令:
sudo /usr/local/taos/bin/taosdump -h 172.17.222.129 -u root -p122313 -D db_pos -o /home/td_transfor/
会导致cpu飙升,而且导出进度非常的慢,影响生产的tdengine,官方有什么优化建议吗?
【TDengine 版本】
3.2.1.0
【遇到的问题:问题现象及影响】
taosdump怎么dump生产200多亿的数据,怎么优化比较合理,不会导致cpu和内存飙升,我们再生产执行下面的命令:
sudo /usr/local/taos/bin/taosdump -h 172.17.222.129 -u root -p122313 -D db_pos -o /home/td_transfor/
会导致cpu飙升,而且导出进度非常的慢,影响生产的tdengine,官方有什么优化建议吗?
1、更细粒度的导出,比如有多个超级表的话,一次只导出一个超级表;
2、指定时间范围,一次导出一段时间,比如3个月;
3、指定导出时的并发线程数,根据系统资源情况选择合适的线程数量。
~ $ taosdump --help
Usage: taosdump [OPTION…] dbname [tbname …]
or: taosdump [OPTION…] --databases db1,db2,…
or: taosdump [OPTION…] --all-databases
or: taosdump [OPTION…] -i inpath
or: taosdump [OPTION…] -o outpath
-h, --host=HOST Server host from which to dump data. Default is
localhost.
-p, --password User password to connect to server. Default is
taosdata.
-P, --port=PORT Port to connect
-u, --user=USER User name used to connect to server. Default is
root.
-c, --config-dir=CONFIG_DIR Configure directory. Default is /etc/taos
-i, --inpath=INPATH Input file path.
-o, --outpath=OUTPATH Output file path.
-r, --resultFile=RESULTFILE DumpOut/In Result file path and name.
-a, --allow-sys Allow to dump system database (2.0 only)
-A, --all-databases Dump all databases.
-D, --databases=DATABASES Dump listed databases. Use comma to separate
databases names.
taosdump -d dbName stableName -S xxxx -E xxxx -T xxx …….