Kyligence 如何帮助企业建设数据中台

2019-12-25 15:54:23

李明江

Kyligence 行业专家，在制造、金融和政企行业有近 20 年数据领域经验，曾经参与多个大型数据平台建设，对于企业数字化转型有深刻理解和丰富经验。

2019年 11月 28日

盘点 2019 年技术圈的热词，一定会提到“数据中台”。Kyligence 的 CTO 李杨曾在媒体采访中提到，中台并不是一个技术平台，也没有标准架构，中台负责提供 3 方面的内容：

共享的数据服务（Data-as-a-Service）

集中治理数据资产（Governance）

用数据改造业务（Data changes business）

今天，就共享的数据服务，我们来聊一聊如何将 Kyligence 应用在中台的数据服务中。

数据服务是数据中台的重要建设部分

数据服务是数据中台的重要建设内容，在阿里的中台策略中，OneService 的能力包括利用主题逻辑表屏蔽复杂物理表的主题式数据服务、一般查询+ OLAP 分析+在线服务的统一且多样化数据服务和屏蔽多种异构数据源的跨源数据服务三个方向。在各企业的数据中台建设中，这一思想得到了普遍认同，而这些能力需要集成各类技术组件的功能，并在统一规范和统一安全策略下才能形成。

阿里数据中台思想

如何将 Kyligence 应用于数据中台

基于 Apache Kylin 发展而来的高性能大数据工具，Kyligence 被很多企业集成到数据中台，支持主题式数据服务、跨源数据服务和多样化数据服务。

1）主题式数据服务

Kyligence 致力于成为新一代的智能数据仓库，满足企业在大规模数据量上实现高效分析应用的需求。在 OLAP 思想中，基于事实表和维度表的星型模型本身就是针对业务主题的数据封装，Kyligence 每一个 Model 都对应一个业务主题，并通过 API 提供诸如业务模型（model）、维度、指标等方面的信息，支持应用开发，如某银行的业务指标订阅应用中，应用通过调用Kyligence的模型API（GET http://host:port/kylin/api/models、GET http://host:port/kylin/api/cubes）获取模型信息形成业务主题清单和分析主题清单，调用 Cube 信息 API 给予指标和维度清单供业务用户进行指标分析订阅，通过查询API提供数据查询服务。

2）跨源数据服务

区别于开源版本，商业版 Kylin 除了可以查询聚合后的数据（Kyligence 存储或 HBase）和导入到 Kyligence 存储的明细数据外，增加了智能路由和查询下压的功能，可以作为统一的查询服务入口，能够智能识别查询内容，并将查询路由到不同的数据源，如 Kyligence 存储、Hadoop、MPP（如 GreenPlum）和其他关系型数据库（如 MySQL、Oracle 等），并将查询结果数据返回到前端，实现数据透明访问。需要指出的是，Kyligence 在将查询路由下压到 Hadoop 上时可以配置 SparkSQL/Impala/Hive 作为查询引擎以适应不同的查询环境。

3）统一但多样化的数据服务

Kyligence 提供了除提供 ODBC/JDBC 数据接口外，也提供 MDX 和 Rest API 查询接口，可以支持多样化的数据访问方式，支持各类 BI 工具和数据分析应用。如 DashBoard、业务报表等，Kyligence 提供 MDX 接口，可直接支持 PowerBI、SmartBI 中的 OLAP 分析，实现业务人员自助业务分析。

4）Kyligence 支持数据服务的安全管控

数据中台在提供数据服务时，需要同时进行数据资源的访问和利用的安全管控，Kyligence 本身具有完整的数据安全管理功能，如单元格级的数据权限，无论是访问 Kyligence 聚合后的数据，还是在查询下压时，都会基于权限提供数据服务。同时 Kyligence 提供了完善的安全管理 API，（点击这里获取 Kyligence API 信息），可方便集成到数据中台的安全管理体系中。

5）应用案例

Kyligence 对数据服务能力的支持，在很多企业得到了应用，如某大型券商的数据资产平台（数据中台）中，直接利用 Kyligence 作为统一数据服务接口，提供多样化的数据服务，支持各类业务应用。

在某金融企业，数据中台融合了多类型的数据源，在数据组织、管理、封装的基础上，利用 Kyligence 提供融合数据服务，实现统一查询入口和 SQL 方言，灵活控制数据访问权限，以及跨数据平台的数据查询。有效的实现了数据融合，赋能了更多分析场景，同时大幅缩短了业务上线时间，也降低了数据安全控制成本，另外 Kyligence 的可扩展架构也能够应对激增的业务分析需求。