绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
2020 DTCC专场1:数据库内核 PPT
2020-12-28 10:13:21
TDSQL的分布式事务多级一致性模型
演讲简介:

一方面,为了规范并发系统下操作间之间的执行顺序,并发系统下定义多种一致性级别,如线性一致性、顺序一致性、因果一致性、写后读一致性等。另一方面,为了规范并发事务下操作之间的执行顺序,分布式数据库下定义了多种隔离级别来避免某种操作顺序(数据异常)的出现。分布式数据库中一个隐藏的假设是,一个已提交的事务必然对之后的事务有着必然的影响。但是,作为并发系统,分布式数据库在缺少全局物理时钟的前提下,事务之间的相互响应并非是按照时间的顺序相互影响的。因此,在较大节点规模的分布式数据库系统下,并发系统下的多种一致性级别必然要与数据库中的事务一致性进行统一定义。目前,我们也看到了零星的事务因果一致、“Strict serializability”等个别点的结合。
两个体系相遇,只在个别点的层面的结合,使得对分布式数据库事务处理的认知,停留在有限的层面;基于有限的认知的进行的系统实现,既不灵活又不高效。如Spanner通过TrueTime机制实现了线性一致和事务一致性结合,但并发度极低。而现有的研究和工程系统,在两个一致性从点到面的结合的研究与研发,尚处于空白。
用户的应用场景不同,对并发度的要求不同,数据库可提供的性能会有较大差异,因此细分分布式操作一致性和事务一致性之间的关系,把两个一致性从点的结合到多点正交进行面的结合,使得用户有极大灵活性进行选择,提高其应用的性价比。TDSQL的分布式事务多级一致性模型,旨在融合分布式操作一致性和事务一致性,对一致性不仅从概念上加以区分和融合,而且构建统一的模型,为分布式事务型数据库提供高效、灵活的事务处理机制。
分享提纲:
1、事务一致性和分布式操作一致性;
2、前沿技术与工程实现;
3、TDSQL的分布式事务多级一致性模型技术与实现。

李海翔 腾讯 金融云T4专家 CCF数据库专委会委员
嘉宾介绍:

网名“那海蓝蓝”,腾讯金融云数据库技术专家,TDSQL北京研发中心负责人。中国人民大学信息学院工程硕士企业导师,CCF数据库专委会委员,DTCC+A1:E115:原理解析与SQL性能优化》、《数据库事务处理的艺术:事务管理和并发访问控制》、《大数据管理》。申请与授权专利50+,VLDB等顶会论文若干篇。参与包括国家863重大专项、核高基、工信部、科技部等多项目。获北京市科技进步一等奖。

使用 TiDB 列存引擎进行实时数据分析
演讲简介:

随着 TiDB 新版发布的 TiFlash,是一套高性能的列存引擎。和以往的列存设计不同,TiFlash 是专为实时分析场景设计的。它拥有匹配行存的实时更新数据能力,可以作为可随意拔插的列存镜像实时同步在线数据。配合 TiDB 优化器的智能选择功能,它不但可以让用户实时查询在线交易数据,而不必担心影响业务稳定,也可以当做查询加速器,为 TiDB 分析场景提速,使得整个体系同时拥有行存和列存的性能优势。本次分享将详细介绍 TiFlash 的系统架构设计和技术特点以及案例分享。
分享要点:
1、可实时更新列存的设计;
2、分布式一致性的异构复制体系设计;
3、TiDB 独特的行列混合 HTAP 架构优势。

韦万 PingCAP TiDB 列存引擎存储方向 Tech Lead
嘉宾介绍:

PingCAP 数据库内核研发工程师,TiDB 实时分析组的存储方向 Tech Lead,主导设计和实现了 TiDB 可实时更新的高性能列存引擎 DeltaTree,也是大数据列存引擎 IndexR 开源项目的作者。研究方向为分布式系统、高性能计算、分析型数据库等。

深植于场景需求混布数据库:Hubble
演讲简介:

1)数据的生产发生了变化,由原来的应用生产数据,到人生产数据,再到机器生产数据,带来的是数据体量发生了惊人的变化。
2)数据的消费发生了变化,由之前的来看数据的指标项,到数据下沉到了一线人员手中,再到AI消费数据,数据的使用发生了大的变化。
3)数据的结构发生了变化,由原来的结构化数据到现在的多种格式的数据。
几大变化的发生,使人们对于技术的需求发生了本质的变化。大量数据的支撑,融合性需求的支撑等。

乔旺龙 天云融创 研发总监
嘉宾介绍:

现任天云融创数据科技(北京)有限公司研发总监,负责公司HTAP数据库Hubble、复杂网络Hilbert产品;乔旺龙先生拥有多年数据库系统相关系统开发和系统集成经验;2011年加入天云团队,先后主导公司多个项目和产品落地,以及多个金融项目落地。

借鉴Oracle,深入修改MySQL/PostgreSQL内核代码
演讲简介:

开源数据库(MySQL/PostgreSQL)内核有什么可以修改的地方吗?如何修改?要回答这些问题,有一个佳参考对象:Oracle。虽然2019年Oracle在国内历经风雨,但Oracle数据库的内核仍十分,而且积累了大量高并发、海量数据场景下的佳方式。研究、参考Oracle的内核,将它的成熟经验用于基于开源或自研的数据库,是师夷长技以制夷的一种很好方式。
本次演讲以调试数据库技术为方式,深入数据库中核心的SQL解析、逻辑与物理I/O、事务处理、数据存储为例,比较Oracle、MySQL、PostgreSQL三种主流关系数据库内核的异同,以及如何参考Oracle的成熟经验修改MySQL、PostgreSQL内核。
本演讲主要有以下几部分内容:
首先,比较三种数据库的解析部分,将主要比较Oracle与PG,涉及到内存管理、轻量级内存锁、元数据管理等内容。
然后是逻辑读,会重点比较Oracle、PG、MySQL在逻辑读时锁机制的差异,并重点分析Oracle的CBC Latch与Buffer Pin机制,一个值得MySQL与PG内核开发参考的地方。
接下来,使用动态跟踪技术,近距离观察三种数据库事务设计的细节,比较三种数据库内核设计方面的异同。并且,本次演讲内容中,会重点讲到利用动态跟踪技术,如何在不修改源码的情况下,注入脚本,观察目标的状态,从而弥补开源数据库在可观测性方面的不足。
计算存储分离是当前数据库技术的重要发展方向之一,本次演讲后一部分内容,将深入到Oracle的存储系统ASM(Automatic Storage Management)内部,为大家剖析ASM原理,以及如何参考ASM、为PostgreSQL等开源数据库实现计算、存储分离系统。
研究并对比Oracle与PG,MySQL的内核机制,并深入进行PG,MySQL的内核开发,这是一个系统的工程,本次演讲主要以提纲挈领的形式,为大家展现方法。详细的分析,需要更长时间的讲解,也正是因为如此,与主办方商量后,将在大会后,再准备一个深入的培训课程,欢迎大家关注。

吕海波 美创科技 技术专家 首席研究员
嘉宾介绍:

IT老兵,24年IT领域从业经历,十数年数据库经验,惯看IT江湖风起云涌。曾在多家巨头型互联网公司从事数据库管理与研究工作。2009年曾就任阿里巴巴数据库专家(P8),并于2014年以特招方式进入国际电商巨头ebay(ebay全球无法英文听说的技术人员),从事数据库管理与研究工作。目前主要研究方向数据安全、数据库内核。
出版技术书籍《Oracle内核技术揭密》,被誉为国内深度解密Oracle算法原理的技术书籍。

基于网易互联网业务的MySQL内核优化之路
演讲简介:

1. 简单回顾网易MySQL分支InnoSQL对各MySQL版本所做的内核优化;
2. 介绍MGR在网易电商等业务使用和优化,包括性能优化、资源控制、服务可用性提升等;
3. 分享围绕MGR所做的进一步优化,包括MGR日志节点、MGR投票节点、隐式列和基于幂等复制的性能优化等;
4. 分享InnoSQL在MyRocks、索引创建、DDL Flashback、并行复制等内核模块上的优化和实践;
5. 简述网易基于MySQL的云原生数据库方案,包括MySQL on K8S,基于Curve存储的共享存储数据库等。

温正湖 网易数帆 数据库开发专家
嘉宾介绍:

10+年数据库和存储开发经验,2013年加入网易,一直从事数据库开发相关工作,现为网易杭研大数据产品部OLTP&OLAP数据库内核团队负责人,主要负责MySQL、Impala等内核特性设计和开发、落地使用以及问题定位;专注于数据库内核技术和分布式系统架构,乐于挑战和解决疑难问题;累计申请并授权10+技术发明专利,《MySQL 内核:InnoDB 存储引擎 卷1》作者之一。

  • 14:50-15:30-乔旺龙-深植于场景需求混布数据库:Hubble(对外版).pdf

    2537KB
  • DTCC2020--腾讯--TDSQL--多级一致性--李海翔--V3(对外版).pdf

    2084KB
  • 15:50-16:30-吕海波-借鉴Oracle,深入修改MySQLPostgreSQL内核代码(对外版).pdf

    2861KB
  • 16:30-17:10-温正湖-基于网易互联网业务的MySQL内核优化之路V2(对外版).pdf

    6737KB
  • 14:10-14:50-韦万-使用TIDB列存引擎进行实时数据分析V2(对外版).pdf

    31182KB
分享好友

分享这个小栈给你的朋友们,一起进步吧。

中国数据库技术大会(DTCC)
创建时间:2019-04-22 14:03:20
中国数据库技术大会(简称DTCC)是国内数据库及大数据领域专业的技术交流盛会。DTCC每年邀请百余位行业专家,就热点技术话题进行分享,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供具价值的交流平台。
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

栈主、嘉宾

查看更多
  • DTCC官方账号
    栈主
  • ?
    嘉宾
  • 飘絮絮絮丶
    嘉宾

小栈成员

查看更多
  • 栈栈
  • 小雨滴
  • coolriver
  • 唐川ITPUB
戳我,来吐槽~