Java无模式写入性能问题

【TDengine 使用环境】
预生产环境

【TDengine 版本】
3.3.6.6
【操作系统以及版本】
CentOS7.9
【部署方式】容器/非容器部署
非容器部署
【集群节点数】
1
【集群副本数】
1
【描述业务影响】
IoT场景,使用java用无模式插入性能较低
【问题复现路径/shan】做过哪些操作出现的问题

【遇到的问题:问题现象及影响】
ws连接,使用AbstractConnection的write方法,拼接好了无模式语句组成string数组,用influxdb的line协议。每次插入100条数据,耗时要在700ms左右。已排除网络因素,局域网环境。
【资源配置】
16c32g虚拟机
【报错完整截图】

行协议原文是什么样的,多少个点位。

您好,目前模拟的是1个设备(超级表)100个点位(100个子表)。行协议原文如下:[“taos,_propertyCode=taos40,_tenantId=0,_dataType=NUMBER _valNum=0.7882662704183238f64 1757843942679”,“taos,_propertyCode=taos46,_tenantId=0,_dataType=NUMBER _valNum=0.7362363945009599f64 1775141228515”,“taos,_propertyCode=taos38,_tenantId=0,_dataType=NUMBER _valNum=0.3844786176320093f64 1730798473342”,“taos,_propertyCode=taos12,_tenantId=0,_dataType=NUMBER _valNum=0.9770215937256466f64 1753591398907”,“taos,_propertyCode=taos84,_tenantId=0,_dataType=NUMBER _valNum=0.6029545735223217f64 1745454050085”,“taos,_propertyCode=taos30,_tenantId=0,_dataType=NUMBER _valNum=0.7835400913119928f64 1772660631944”,“taos,_propertyCode=taos03,_tenantId=0,_dataType=NUMBER _valNum=0.5081160347447413f64 1776499919952”,“taos,_propertyCode=taos97,_tenantId=0,_dataType=NUMBER _valNum=0.16425151895632728f64 1779204850797”,“taos,_propertyCode=taos88,_tenantId=0,_dataType=NUMBER _valNum=0.13207753550388202f64 1753512170865”,“taos,_propertyCode=taos93,_tenantId=0,_dataType=NUMBER _valNum=0.8162492190176084f64 1739897228738”,“taos,_propertyCode=taos57,_tenantId=0,_dataType=NUMBER _valNum=0.08430669997585061f64 1739600735972”,“taos,_propertyCode=taos15,_tenantId=0,_dataType=NUMBER _valNum=0.6444385691051127f64 1776541631519”,“taos,_propertyCode=taos83,_tenantId=0,_dataType=NUMBER _valNum=0.8820966178894826f64 1754856732096”,“taos,_propertyCode=taos61,_tenantId=0,_dataType=NUMBER _valNum=0.47851234506457385f64 1725602827811”,“taos,_propertyCode=taos54,_tenantId=0,_dataType=NUMBER _valNum=0.9789422859341279f64 1732097532239”,“taos,_propertyCode=taos67,_tenantId=0,_dataType=NUMBER _valNum=0.11035678779895264f64 1777565573795”,“taos,_propertyCode=taos26,_tenantId=0,_dataType=NUMBER _valNum=0.9254775415670781f64 1743904299875”,“taos,_propertyCode=taos17,_tenantId=0,_dataType=NUMBER _valNum=0.46966654241135986f64 1720541562471”,“taos,_propertyCode=taos73,_tenantId=0,_dataType=NUMBER _valNum=0.7797541236481967f64 1724121746785”,“taos,_propertyCode=taos90,_tenantId=0,_dataType=NUMBER _valNum=0.40524100580146405f64 1771377865900”,“taos,_propertyCode=taos42,_tenantId=0,_dataType=NUMBER _valNum=0.5349734441561015f64 1763882851463”,“taos,_propertyCode=taos14,_tenantId=0,_dataType=NUMBER _valNum=0.6528115545762011f64 1762531475798”,“taos,_propertyCode=taos05,_tenantId=0,_dataType=NUMBER _valNum=0.20568099304688559f64 1772516115786”,“taos,_propertyCode=taos72,_tenantId=0,_dataType=NUMBER _valNum=0.6614373883887545f64 1730982772957”,“taos,_propertyCode=taos18,_tenantId=0,_dataType=NUMBER _valNum=0.41140000806895394f64 1744263571287”,“taos,_propertyCode=taos11,_tenantId=0,_dataType=NUMBER _valNum=0.4633474474178011f64 1724671345768”,“taos,_propertyCode=taos99,_tenantId=0,_dataType=NUMBER _valNum=0.11459881338987743f64 1726722948571”,“taos,_propertyCode=taos69,_tenantId=0,_dataType=NUMBER _valNum=0.9235439017444761f64 1769103166549”,“taos,_propertyCode=taos80,_tenantId=0,_dataType=NUMBER _valNum=0.8825824220893762f64 1753771460726”,“taos,_propertyCode=taos86,_tenantId=0,_dataType=NUMBER _valNum=0.13118680680816497f64 1726354875897”,“taos,_propertyCode=taos89,_tenantId=0,_dataType=NUMBER _valNum=0.8317468836132277f64 1772233811117”,“taos,_propertyCode=taos07,_tenantId=0,_dataType=NUMBER _valNum=0.32514933000498736f64 1737739562538”,“taos,_propertyCode=taos47,_tenantId=0,_dataType=NUMBER _valNum=0.5368380134681223f64 1722059697920”,“taos,_propertyCode=taos74,_tenantId=0,_dataType=NUMBER _valNum=0.8743783524818379f64 1776975755121”,“taos,_propertyCode=taos16,_tenantId=0,_dataType=NUMBER _valNum=0.47728335435248237f64 1778385920625”,“taos,_propertyCode=taos98,_tenantId=0,_dataType=NUMBER _valNum=0.8812004619062832f64 1751415810316”,“taos,_propertyCode=taos95,_tenantId=0,_dataType=NUMBER _valNum=0.38580283273468585f64 1758647478434”,“taos,_propertyCode=taos71,_tenantId=0,_dataType=NUMBER _valNum=0.2533235577831364f64 1753772947621”,“taos,_propertyCode=taos29,_tenantId=0,_dataType=NUMBER _valNum=0.6059402275348151f64 1753711101013”,“taos,_propertyCode=taos91,_tenantId=0,_dataType=NUMBER _valNum=0.3981668563545182f64 1759334845112”,“taos,_propertyCode=taos34,_tenantId=0,_dataType=NUMBER _valNum=0.3949795341757134f64 1750281128011”,“taos,_propertyCode=taos94,_tenantId=0,_dataType=NUMBER _valNum=0.4280698539633768f64 1723457973061”,“taos,_propertyCode=taos70,_tenantId=0,_dataType=NUMBER _valNum=0.43621075090750705f64 1721616959150”,“taos,_propertyCode=taos08,_tenantId=0,_dataType=NUMBER _valNum=0.12258703202342003f64 1730886690136”,“taos,_propertyCode=taos100,_tenantId=0,_dataType=NUMBER _valNum=0.6335310831685892f64 1770609784452”,“taos,_propertyCode=taos35,_tenantId=0,_dataType=NUMBER _valNum=0.06827749564547059f64 1745244389490”,“taos,_propertyCode=taos10,_tenantId=0,_dataType=NUMBER _valNum=0.4060987312199902f64 1748416860923”,“taos,_propertyCode=taos81,_tenantId=0,_dataType=NUMBER _valNum=0.3802090989900765f64 1719969969410”,“taos,_propertyCode=taos55,_tenantId=0,_dataType=NUMBER _valNum=0.7782973210878311f64 1731867167040”,“taos,_propertyCode=taos25,_tenantId=0,_dataType=NUMBER _valNum=0.08476634512464265f64 1760667905627”,“taos,_propertyCode=taos76,_tenantId=0,_dataType=NUMBER _valNum=0.755968447533945f64 1771873694774”,“taos,_propertyCode=taos24,_tenantId=0,_dataType=NUMBER _valNum=0.5077426112039898f64 1758525257495”,“taos,_propertyCode=taos59,_tenantId=0,_dataType=NUMBER _valNum=0.03332675969407339f64 1749712181894”,“taos,_propertyCode=taos13,_tenantId=0,_dataType=NUMBER _valNum=0.816114836780789f64 1753070645129”,“taos,_propertyCode=taos68,_tenantId=0,_dataType=NUMBER _valNum=0.06228805159449302f64 1744644698154”,“taos,_propertyCode=taos41,_tenantId=0,_dataType=NUMBER _valNum=0.26359074135908245f64 1769635781659”,“taos,_propertyCode=taos01,_tenantId=0,_dataType=NUMBER _valNum=0.12362267600069543f64 1770623140228”,“taos,_propertyCode=taos77,_tenantId=0,_dataType=NUMBER _valNum=0.46683140396575074f64 1755136668599”,“taos,_propertyCode=taos96,_tenantId=0,_dataType=NUMBER _valNum=0.8185714222503122f64 1725904233027”,“taos,_propertyCode=taos79,_tenantId=0,_dataType=NUMBER _valNum=0.02368713245188825f64 1722270914358”,“taos,_propertyCode=taos04,_tenantId=0,_dataType=NUMBER _valNum=0.5069900604225798f64 1750525360692”,“taos,_propertyCode=taos31,_tenantId=0,_dataType=NUMBER _valNum=0.9256787343980085f64 1768524038324”,“taos,_propertyCode=taos63,_tenantId=0,_dataType=NUMBER _valNum=0.44049766451390393f64 1736217596504”,“taos,_propertyCode=taos82,_tenantId=0,_dataType=NUMBER _valNum=0.17928246584754082f64 1733220703695”,“taos,_propertyCode=taos58,_tenantId=0,_dataType=NUMBER _valNum=0.6527628528266173f64 1725934356775”,“taos,_propertyCode=taos23,_tenantId=0,_dataType=NUMBER _valNum=0.5813988627309191f64 1758603917548”,“taos,_propertyCode=taos49,_tenantId=0,_dataType=NUMBER _valNum=0.03137188091147014f64 1732246738654”,“taos,_propertyCode=taos22,_tenantId=0,_dataType=NUMBER _valNum=0.185574554830371f64 1740883940348”,“taos,_propertyCode=taos20,_tenantId=0,_dataType=NUMBER _valNum=0.16533761605171704f64 1781387238205”,“taos,_propertyCode=taos44,_tenantId=0,_dataType=NUMBER _valNum=0.09405765655770892f64 1781852531499”,“taos,_propertyCode=taos36,_tenantId=0,_dataType=NUMBER _valNum=0.28114876766456465f64 1758742926907”,“taos,_propertyCode=taos85,_tenantId=0,_dataType=NUMBER _valNum=0.12737042435437274f64 1725790446762”,“taos,_propertyCode=taos75,_tenantId=0,_dataType=NUMBER _valNum=0.3503375313805831f64 1737735841409”,“taos,_propertyCode=taos56,_tenantId=0,_dataType=NUMBER _valNum=0.4970558487443574f64 1744645943345”,“taos,_propertyCode=taos62,_tenantId=0,_dataType=NUMBER _valNum=0.9397484238232546f64 1763719561718”,“taos,_propertyCode=taos32,_tenantId=0,_dataType=NUMBER _valNum=0.06430051911739676f64 1767490852328”,“taos,_propertyCode=taos60,_tenantId=0,_dataType=NUMBER _valNum=0.23247747278396402f64 1756314098532”,“taos,_propertyCode=taos43,_tenantId=0,_dataType=NUMBER _valNum=0.8240029366572752f64 1762951711056”,“taos,_propertyCode=taos92,_tenantId=0,_dataType=NUMBER _valNum=0.3889039027893372f64 1744817040530”,“taos,_propertyCode=taos02,_tenantId=0,_dataType=NUMBER _valNum=0.9646471234964961f64 1756966896947”,“taos,_propertyCode=taos06,_tenantId=0,_dataType=NUMBER _valNum=0.788721441910309f64 1747316555861”,“taos,_propertyCode=taos21,_tenantId=0,_dataType=NUMBER _valNum=0.665537180882613f64 1749335558004”,“taos,_propertyCode=taos27,_tenantId=0,_dataType=NUMBER _valNum=0.36142807347585704f64 1764178483393”,“taos,_propertyCode=taos66,_tenantId=0,_dataType=NUMBER _valNum=0.13844241837004012f64 1749285085439”,“taos,_propertyCode=taos37,_tenantId=0,_dataType=NUMBER _valNum=0.8868800158329706f64 1739374976180”,“taos,_propertyCode=taos09,_tenantId=0,_dataType=NUMBER _valNum=0.10605502671639822f64 1759804105034”,“taos,_propertyCode=taos78,_tenantId=0,_dataType=NUMBER _valNum=0.6725966830165805f64 1728127480337”,“taos,_propertyCode=taos51,_tenantId=0,_dataType=NUMBER _valNum=0.2685946997368306f64 1747023378811”,“taos,_propertyCode=taos64,_tenantId=0,_dataType=NUMBER _valNum=0.22073401458727293f64 1743776965083”,“taos,_propertyCode=taos45,_tenantId=0,_dataType=NUMBER _valNum=0.3836052671751611f64 1752577368014”,“taos,_propertyCode=taos48,_tenantId=0,_dataType=NUMBER _valNum=0.19574104729899655f64 1729788174585”,“taos,_propertyCode=taos52,_tenantId=0,_dataType=NUMBER _valNum=0.28292692564835975f64 1730375907672”,“taos,_propertyCode=taos53,_tenantId=0,_dataType=NUMBER _valNum=0.900479095774794f64 1738869641965”,“taos,_propertyCode=taos33,_tenantId=0,_dataType=NUMBER _valNum=0.7334466625948001f64 1771236135150”,“taos,_propertyCode=taos87,_tenantId=0,_dataType=NUMBER _valNum=0.6651269756405419f64 1733939817206”,“taos,_propertyCode=taos65,_tenantId=0,_dataType=NUMBER _valNum=0.6557409269493997f64 1750729114850”,“taos,_propertyCode=taos50,_tenantId=0,_dataType=NUMBER _valNum=0.8838875447435934f64 1728174642698”,“taos,_propertyCode=taos28,_tenantId=0,_dataType=NUMBER _valNum=0.22659511360890516f64 1738175651691”,“taos,_propertyCode=taos19,_tenantId=0,_dataType=NUMBER _valNum=0.7240745542191774f64 1737193139476”,“taos,_propertyCode=taos39,_tenantId=0,_dataType=NUMBER _valNum=0.18076089266196915f64 1747184324937”]

所以是一次性插入 100*100 10000个点位是吧,耗时0.7s

不是的,截图里的size:100是批次,每100个直接一次conn.write。我发的协议原文就是一次插入的全部内容。100个点位,分为1批插入,耗时725ms

需要远程看下 微信 a15652223354 具体看下吧

类似问题可能需远程处理,如遇相同问题可另起新帖。

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。