TDengine在住建行业工地管理系统落地的“操作手册”

2022-05-26 14:37:04

随着业务规模的逐渐扩大，传统数据库越来越难以满足某些业务场景对查询、分析、统计的进一步需求。为了打破当下困局，湖南必和必拓想到了三种解决方案，在进行了严谨的分析后，我们决定采用物联网数据库，经过选型对比，时序数据库TDengine成为其方案。

如何在TDengine上进行数据建模、集群搭建、告警模块搭建？如何将数据更平滑地迁移到TDengine？在这些操作中，可能会遇到什么问题？又该如何解决？从湖南必和必拓的实践经验出发，本文将从代码层面一一解答。

业务场景及痛点

在一些业务场景中，我们需要将长沙市在建工地的扬尘数据(温度、湿度、pm2.5、pm10、pm100、噪声、风向、风速)存储在数据库中，以便为业务提供查询、分析和统计的操作。

但近来出现了一个难题，我们共有监测点107个，每分钟上送1条数据，每年就预计有“107*60*24*365 = 56,239,200”条数据，也就是5600多万条。目前已存储两年的数据，数据量总计约1亿多条。这些数据一直都被存储在MySQL数据库中，庞大的数据量使得查询速度越发缓慢，甚至部分页面出现超时问题。

解决方案1：MySQL数据库分库分表

如果我们将数据库分散到不同的表上，单表的索引大小就得到了控制，对索引以及表结构的变更会变得更加方便和高效。当数据库实例的吞吐量达到性能的瓶颈时，我们需要扩展数据库实例，让每个数据库实例承担其中一部分数据库的请求，分解总体的大请求量的压力。

弊端：

分库分表需要提前对数据做好规划。如果按照时间对表进行水平划分，随着监控点增加，后面的表数据量可能越来越大，容易出现数据热点问题；如果按照监测点hash取模对表进行水平划分，当监测点增加，进行扩展就会比较困难。例如：之前是mod4，后面是mod6，则需要对之前的历史数据重新进行处理。
在对数据进行统计分析时，可能需要进行多表的聚合查询，查询速度会受到影响。

解决方案2：使用华为云物联网平台

华为云物联网基于物联网资产模型，整合物联网数据集成、清洗、存储、分析、可视化，为物联网数据开发者提供一站式服务，能够有效降低开发门槛，缩短开发周期，快速实现物联网数据价值变现。

弊端：前期需设备厂商针对平台接口进行适配，接入以后零代码的方式确实在配置上会比较方便，但是平台的费用以及实时流式计算按次收费的方式，整体费用过高。

解决方案3：使用物联网数据库

InfluxDB：高性能的时序数据库，可以高效的存储和查询时序数据。可惜的是，目前社区版集群功能不开源。
TDengine：TDengine是一个简单快捷、高性能的时序数据库，提供高性能的同时也极大降低了安装、部署和维护的成本。应用之后，TDengine能解决之前令我们较为头疼的一些问题，包括前文中描述的问题，它有以下5点主要优势：

1）安装简单。下载rpm包，一个命令安装完毕即可运行。

2）数据库开源，支持集群。

3）充分考虑时序数据的特点，以超级表为模型，将每个监测点的数据单独存储在一张表中，提高了插入和查询速度。

4）有丰富的函数，支持窗口查询和连续查询。

5）自带TDengineAlert模块，和AlertManager联合使用，可以推送告警信息

综合考虑以上解决方法，我们发现，使用TDengine后，硬件成本和开发维护成本大大降低，写入和查询速度比OpenTSDB等还要高出一个级别。于是，TDengine成为了我们的解决方案。

接下来，我将把我们在探索TDengine时的一些重要操作、问题点以及解决办法等经验传递给大家。

关于TDengine安装

官网下载安装包，文中使用的是2.0.20.12，即：TDengine-server-2.0.20.12-Linux-x64.tar.gz。安装包中包含安装命令, 解压后直接使用即可。

[root@hnbhbt ~]# tar -zxvf TDengine-server-2.0.20.12-Linux-x64.tar.gz
[root@hnbhbt ~]# cd TDengine-server-2.0.20.12
[root@hnbhbt ~]# ./install.sh
1. 启动TDengine
[root@hnbhbt ~]# systemctl start taosd
2. 检查TDengine状态
[root@hnbhbt ~]# systemctl status taosd
3. 输入以下命令进入TDengine命令行
taos
出现如下显示后表示进入成功
Welcome to the TDengine shell from Linux, Client Version:2.0.20.12
Copyright (c) 2020 by TAOS Data, Inc. All rights reserved.

taos>
卸载: 需要手动删除配置文件以及日志
[root@hnbhbt ~]# sudo rm -rf /var/log/taos/
[root@hnbhbt ~]# sudo rm -rf /var/lib/taos/
[root@hnbhbt ~]# sudo rm -rf /etc/taos/taos.cfg

注: 安装过程中需要配置TDengine的FQDN为hostname，通过Linux命令可以查看当前机器的hostname，配置相应内容即可，官方建议尽量不要使用localhost，文中配置的是hnbhbt.com

数据建模

表设计

-- 创建数据库
create database db_transfer_platform keep 730 replica 3;
-- 使用数据库
use db_transfer_platform;
-- 创建超表
create stable if not exists s_dust_history_data(ts timestamp,measured_value double,id int)tags(device_code nchar(30),channel_number nchar(30),signal_code nchar(30),status bool);
-- 删除超表
drop stable if exists s_dust_history_data;
-- ts 时间戳;measured_value 测量值;id 平台主键;device_code 设备编号;channel_number 通道序号;signal_code 信号编号;status 在线状态

注：ts默认为主键，不能为空；列名避免取关键值，否则无法插入

数据插入

-- example:创建子表，插入数据，查询数据 
-- 子表名称[监测信号_设备编号] eg pm_25_1003055表示设备编号为1003055的pm2.5的监测表
create table if not exists eg_pm_25_1003055 using s_dust_history_data tags('1003055','1','18113001',true);
create table if not exists eg_pm_10_1003055 using s_dust_history_data tags('1003055','2','18114001',false);
insert into eg_pm_25_1003055 (ts,measured_value,id) values("2021-07-29 21:43:22",7.0,123);
insert into eg_pm_10_1003055 (ts,measured_value,id) values("2021-07-29 21:43:22",6.0,124);
insert into eg_pm_25_1003055 (ts,measured_value,id) values("2021-07-29 21:43:22",9.0,123);

注：

1.全列模式写入速度会远快于指定列，建议尽可能采用全列写入方式

2.批量插入数据，写入速度更快（多支持同时插入32000条左右，和SQL长度有关）

3.对于重复的数据，忽略后面插入的数据

数据查询

select * from s_dust_history_data where ts > '2021-07-29 00:00:00' and ts < '2021-07-30 00:00:00' and signal_code = '18113001';

Spring Boot整合TDengine

当用户需要查询工地设备扬尘数据时，扬尘数据将通过定时任务从第三方接口中定时拉取保存至我们系统的数据库。由于扬尘数据的量较大，为千万甚至上亿级别，而系统配置相关数据的数据量较小，因此我们选择将扬尘数据和系统配置数据分离——扬尘数据使用TDengine进行存储，系统配置数据采用MySQL进行存储。

本文使用MybatisPlus作为持久层框架，同时接入TDengine和MySQL，做双数据源配置。下文中将重点讲述TDengine，MySQL相关内容将省略。

taos-jdbcdriver的选择

根据官网找到taos-jdbcdriver的对应版本，本文使用的taos-jdbcdriver版本是2.0.22。

taos-jdbcdriver 版本	TDengine 版本	JDK 版本
2.0.22 - 2.0.30	2.0.18.0 - 2.1.2.x	1.8.x

<dependency>
    <groupId>com.taosdata.jdbc</groupId>
    <artifactId>taos-jdbcdriver</artifactId>
    <version>2.0.22</version>
    <scope>runtime</scope>
</dependency>

【问题】开始使用的是较高的版本，结果出现无法正常访问的情况，终降低taos-jdbcdriver版本后得以解决。

双数据源配置

在Spring Boot yml中配置双数据源，使用druid连接池，将TDengine设置为主数据库，MySQL设置为副数据库。

spring:
  datasource:
    dynamic:
      druid:
        initial-size: 10
        min-idle: 10
        max-active: 100
        max-wait: 60000
        test-while-idle: false
      primary: td-engine
      strict: false
      datasource:
        td-engine:
          driver-class-name: com.taosdata.jdbc.TSDBDriver
          url: jdbc:TAOS://address:port/dbname
          username: dbusername
          password: dbpassword
        mysql:
          driver-class-name: com.mysql.cj.jdbc.Driver
          url: ...
          username: ...
          password: ...

代码编写

核心逻辑是第三方数据的定时拉取以及在本系统进行的查询，此处主要介绍TDengine的mapper写法。

官方提到TDengine全列模式写入速度会远快于指定列，建议尽可能采用全列写入方式；而扬尘数据的种类多样，因此我们采用动态表名 + 批量插入的方式。每次拉取数据时，以设备和扬尘数据种类为维度创建tags，同时对该维度的数据进行数据插入。

Mapper
a. 创建Tags
<insert id="createTags" parameterType="TagsEntity">
    create table if not exists #{tags名称}
        using 超级表名称 tags
    (#{tagsColumn1Value},
    ...
    #{tagsColumnNValue})
</insert>
b. Tags插入单条数据
<insert id="insert" parameterType="TagsEntity">
    insert into #{tags名称}
        (#{tagsColumn1},
        ...
        #{tagsColumnN})
        values
        (#{tagsColumn1Value},
        ...
        #{tagsColumnNValue})
</insert>

需要注意的是，TDengine在进行全列写入时，必须为数据表的每个列都显式地提供数据，并且一次插入的数据是有上限的，否则会报错，建议在正式插入之前测试一下全列写入的上限。

<insert id="batchInsert" parameterType="TagsEntity">
    insert into #{tags名称}
    values
    <foreach collection="list" item="data">
        (#{data.tagsColumn1Value},
        ...
        #{data.tagsColumnNValue})
    </foreach>
</insert>
JavaBean

如需查询扬尘数据，创建一个和超级表绑定的实体类即可，里面应该包含超级表本身的属性以及tags的属性，可以直接使用MyBatisPlus的持久层方法进行查询。

@Data
@TableName(tbname)
public class SuperTableEntity {
    private String colunm1;
    ...
}

【问题一】在编写完代码后尽管查询不会出错，但插入和创建tags会发生错误，后来发现此处是DNS解析异常，由于TDengine配置了FQDN，因此应该在hosts中配置映射关系，之后才能进行正常的插入和创建操作。

【问题二】在进行第三方数据同步时，由于次是同步历史数据，因此插入TDengine的数据量较大。尽管TDengine本身支持的全列模式写入已经提升了不少效率，但如果代码中的批量插入继续使用普通for循环，插入效率仍然较低，这里可以通过切割数据和多线程的方式进行实现。

    private void runner(List<Entity> list, int dealSize) throws Exception {
        if (!CollectionUtils.isEmpty(list)) {
            //数据总的大小
            int count = list.size();
            //每个线程数据集
            List<Entity> threadList = null;
            //线程池
            int runSize = (count / dealSize) + 1;
            ThreadPoolExecutor executor = new ThreadPoolExecutor(
                    runSize,
                    350,
                    30L, TimeUnit.SECONDS,
                    new SynchronousQueue<>());


            CountDownLatch countDownLatch = new CountDownLatch(runSize);


            for (int i = ; i < runSize; i++) {
                //计算每个线程执行的数据
                int startIndex = (i * dealSize);
                if ((i + 1) == runSize) {
                    threadList = list.subList(startIndex, count);
                } else {
                    int endIndex = (i + 1) * dealSize;
                    threadList = list.subList(startIndex, endIndex);
                }
                //TODO 这里写自己的线程任务
                executor.execute(myThread);
            }
            //计数
            countDownLatch.await();
            //关闭线程池
            executor.shutdown();
        }
    }

在使用双数据源时，Controller和Dao与一般的Spring Boot + MyBatis无异，主要在于Service，由于设置的primary数据库是TDengine，所以持久层默认会访问TDengine数据库，如果要切换，需要在service的class或方法上添加注解@DS(databaseAlias)，括号中填写yml中配置的数据库别名，如td-engine、mysql等，通过这种方式来选择需要访问的数据库。primary数据库可以省略@DS。

TDengine数据迁移

当我们需要将扬尘数据从公司本地服务器迁移数据至华为云服务器，文中使用TDengine自带的dump工具进行数据迁移。

文档请参考：https://www.taosdata.com/blog/2020/03/09/1334.html

DUMP命令帮助信息
[root@hnbhbt ~]# taosdump --help
关键参数:
-h: 主机名称
-o: 导出文件路径
-i: 导入文件路径
-u: TDengine用户名
-p: TDengine密码
-A: 导出所有数据库的数据
-B: 导出指定数据库(可选多个数据库)
-S: 开始时间时间戳
-E: 结束时间时间戳
-T: 指定导出数据时，启动的线程数。建议设置成机器上core的2倍
1. 数据导出
[root@hnbhbt ~]# taosdump -h hostname -o /dump/>2. 数据导入
[root@hnbhbt ~]# taosdump -u username -p password -i ~/>【问题】此处在配置hostname时应该填写FQDN，如果不填写或者填写服务器IP，将会产生错误。
集群搭建
参考网址：
可扫描二维码下载相关附件
告警模块搭建
参考网址：
可扫描二维码下载相关附件
小结
应市质安站的监管要求以及蓝天办对空气污染治理的督查要求，市内所有工地的空气质量数据及噪音数据均需接入政府监管平台、纳入管理中。监控数据的特点就是时序、结构化、简单但量大，在处理这类数据上，TDengine可以说是量身定做。搭载TDengine后，监控数据上报后的实时展示、历史回溯都非常快，加上其本身轻量的特点，对于缩减项目开发运维成本也非常有帮助，完美满足了业务的需求。
来源 https://www.modb.pro/db/168850