存储流量数据,基于ip和端口号当tag 生成子表,大流量过来时,插入效率低,有什么高效方法

存储流量数据,基于ip和端口号当tag 生成子表,大流量过来时,插入效率低,有什么高效方法,因为每批流量过来时会有大量的ip和端口,需要在很多张子表插入数据

insert into
tb1 using stb(ip, port) tags(“192.168.1.1”, “1234”) values($TS1, $VAL)($TS2, $VAL2)
tb2 using stb(ip, port) tags(“192.168.1.2”, “1234”) values($TS1, $VAL)($TS2, $VAL2)
tb3 using stb(ip, port) tags(“192.168.1.3”, “1234”) values($TS1, $VAL)($TS2, $VAL2

提高写入:

  1. 多线程写
  2. 一次写入多个表,SQL 写入的话,尽量一个 SQL 写多行数据
  3. 用 参数绑定 写入

您好我想问下,我流量梳理很大,每秒大概有200多万条,然后是基于ip和端口当tag,但是流量数据,存储到子表的数据不均衡,每批存储的时候,会有多有少,有可能就3-5条就存储一次到子表,这种有什么高效的存储方式

此话题已在最后回复的 180 天后被自动关闭。不再允许新回复。