绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
基于PostgreSQL,腾讯企业级分布式数据库 TBase 开源
2020-03-12 17:15:26

TBase是腾讯数据平台团队在开源的PostgreSQL基础上研发的企业级分布式HTAP数据库管理系统,主要特性如下:

1)具备高性能可扩展的分布式事务能力,支持RC和RR两种隔离级别;

2)通过安全、管理、审计三权分立体系,提供全方位的数据安全保证机制;

3)支持高性能分区表,可使得数据检索效率成倍提升;

4)SQL方面兼容2003标准、PostgreSQL语法和常用Oracle 函数&数据类型、窗口函数等;

5)提供大小商户数据分离、冷热数据分离等高效的数据治理能力。


TBase架构

 


集群中有三种节点类型,各自承担不同的功能,通过网络连接成为一个系统。这三中节点类型分别是:


 Coordinator协调节点,对外提供接口,负责数据的分发和查询规划,多个节点位置对等,每个节点都提供相同的数据库视图; CN存储系统的全局元数据。


• Datanode处理存储本节点相关的元数据,每个节点还存储数据的一个分片。在功能上,DN节点负责完成执行协调节点分发的执行请求。


• GTM: 全局事务管理器(Global transaction manager.),负责管理集群事务信息,同时管理集群的全局对象,比如序列,除此之外GTM上不提供其他的功能。


TBase适用场景

• 在国产化落地、业务核心领域去O场景

• 对HTAP混合事务分析应用模型有需要的业务场景

• 对物联网地理信息系统有需求的业务场景

• 对实时高并发环境下的分布式事务强一致性有要求的业务(如金融、证券等业务)场景

• 对企业级数据安全、审计、治理应用相关功能有需求的业务场景

• 对高可用、异地容灾、7*24小时服务能力有需求的业务场景

• 有海量存储计算需求、弹性扩容、在线扩容需求的业务场景

• 对异构数据互通共享有需求的业务场景


TBase功能介绍


• 分布式事务全局一致性能力通过拥有自主专利的分布式事务一致性技术,包括两阶段提交(Two Phase Commit)以及全局时钟(Global Timestamp)的策略来保证在全分布式环境下的事务一致性。


• SQL兼容能力SQL2003标准、PostgreSQL语法、常用Oracle函数&数据类型、UDF/UDAF、常见窗口函数、JSON/JSONB/XML/数组等多种 NoSQL 类型 、递归WITH、无锁DDL操作、扩展插件等。


• HTAP能力提供 OLTP 以及 OLAP 两个平面视角 ,OLTP 业务运行在 datanode 主节点上,OLAP 业务运行在 datanode 节点的备节点上,二者的数据同步采用流复制的方式来进行。


• 读写分离能力提供了读写和只读两个平面视角,读写流量请求由主节点来处理,只读流量请求由备节点来处理,主备节点的数据同步采用流复制的方式来进行。


• 卓越的数据安全保障能力通过三权分立的体系,将传统数据库系统DBA的角色分解为三个相互独立的角色:安全管理员、审计管理员、数据管理员;基于此提出安全策略,主要细分为三个部分:数据加密、数据脱敏访问、强制访问控制,三者组合提供多个层级的数据安全保障能力。



• 高效的数据治理能力:数据倾斜治理,用以解决数据分布不均带来的存储以及性能压力;冷热数据分级存储 ,用以降低业务的存储成本、提升热数据的性能


• 多核并行计算能力节点内部采用了并行计算,根据表大小同时启动多个进程来协同完成一个查询


• 多租户能力基于节点组node group的集群内多租户解决方案,做到数据库集群内部的业务和资源隔离,多个业务在TBase内部相互隔离的运行。


• 多级容灾能力采用强同步复制来保证主从数据完全一致,保障主节点故障时数据无丢失;提供基于任意时间点的恢复特性来防止误操作带来的数 据丢失。


• 在线扩容能力通过引入shard map层(shard map 中每一项存储 shardid 和 DN 的 映射关系 ), 在新加节点时,只需要把一些 shard map 中的 shardid 映射到新加的节点,并把对应的数据搬迁过去就可以了,大大缩短扩容时间。 


• 丰富的周边生态能力PostGIS、异构数据复制、LVS负载均衡、FDW联邦能力等


TBase项目规划

• 加强TBase的HTAP能力,支持多种存储格式

• 异构数据互通功能丰富,添加数据更新订阅发布功能

• 完善周边生态,丰富数据库联邦数据源

• 运维管理能力全面提升,PASS能力持续增强


TBase真情期待开源贡献

TBase目前已在腾讯内外部包括银行、保险、证券、微信支付等多个行业提供底层数据库支撑。我们期望通过将TBase开源,能够有助于业界其他相关领域的应用,也希望更好的完善产品本身,TBase期待大家共同完善!


TBase开源地址


l Github开源地址http://github.com/Tencent/TBase

请给TBase一个star! 欢迎提出你的issue和PR!

 

l 国内镜像地址https://git.code.tencent.com/Tencent_Open_Source/TBase




分享好友

分享这个小栈给你的朋友们,一起进步吧。

PostgreSQL中文社区小栈
创建时间:2019-04-19 17:47:49
PostgreSQL中文社区是一个非盈利的民间组织,已经在中国成功举办过8届技术大会。目前成员都以志愿者身份加入,成立的目的在于构建PG数据库技术生态圈子(内核、用户、培训机构、厂商、服务商、软件开发商、高校形成“业务与利益双向驱动”的良性发展生态圈);帮助企业解决人才培养和企业商用数据库成本问题。社区会在各运营平台发布PG新信息和PG相关技术文章,推动PG技术在中国的发展。
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

栈主、嘉宾

查看更多
  • wangliyun
    栈主
  • digoal
    嘉宾
  • 飘絮絮絮丶
    嘉宾

小栈成员

查看更多
  • 栈栈
  • 喵呜
  • osdba
  • 一号管理员
戳我,来吐槽~