LSQL大规模集群实践
LSQL是一款大数据检索分析型数据库产品,基于HDFS和Lucene引擎实现了分布式索引,可以支持超万亿规模的海量数据检索和统计分析,满足大数据领域的即席交互式检索、实时多维分析等需求。目前已经在公安、军队和汽车等行业得到了广泛的应用,并且也已经有多个超万亿规模的实际案例。在这些大规模集群的应用过程中,我们遇到了不少问题和性能瓶颈。因为LSQL的底层也是Hadoop的分布式文件系统和Lucene的全文检索引擎,其实很多都是由于Hadoop的集群问题导致,相信其他大数据库产品在集群规模扩大时,也会面临类似的问题。因此,本次分享将围绕这些超万亿规模的案例,介绍LSQL在大规模集群中的实际应用和过程中遇到的一些问题,针对这些问题的原因分析以及对应方法等。希望可以给大家带来一些参考。分享提纲:a. LSQL的系统架构介绍;b. 大规模集群中遇到的问题,尤其是Hadoop2.6.0的全局锁带来的性能瓶颈,以及解决方法;c. LSQL在hadoop联邦集群中的应用,以及优化策略。
• 毕业于计算机科学与应用专业,10年以上软件开发与维护经验;• 原富士通南大软件技术有限公司工程师,富士通系统监视中间件产品的项目经理,多年项目管理经验;• 负责过华为RTOS(实时嵌入式操作系统)的维护,对Linux内核、系统监视等方面有丰富经验;• 通过日本富士通LifecycleManagement和JobManagement认证考试,并取得Professional资格;• 中汽研主办的《2020汽车企业数字化研讨会》受邀演讲嘉宾。
基于阿里云云原生的异地多活解决方案
异地多活在传统IDC场景已经得到了很好的发展。随着云数据库的普及,基于云平台实现异地多活将成为新的课题,本主题和大家一起拆解异地多活技术体系,并用典型的大客户案例讲解如果基于阿里云的云原生数据库来实现异地多活架构。
阿里云数据库技术专家,负责阿里巴巴集团多个行业领域(电商、导航、营销等)的数据库支持与优化工作,曾多次参与阿里巴巴双十一和春晚等大促活动,对单元化、区域化等企业级架构有深刻理解,精通多种数据库系统,尤其对MySQL有深入研究,有丰富的数据库管理、优化及行业架构经验。
避免删库跑路黑天鹅,快狗打车数据库架构佳实践
数据,是互联网公司的核心资产。数据库架构,是互联网架构师重点规划。如何保证数据的高可用,保证安全性,防止误操作及恶意操作,如何在出现故障的时候快速恢复,数据库架构层面,规程制度层面,工程实践层面,快狗打车有哪些佳实践,期待与你的交流。
到家集团技术VP&技术委员会主席,快狗打车CTO,互联网架构技术专家,“架构师之路”公众号作者。曾任百度工程师,58同城技术委员会主席,架构师,技术学院讲师。技术人一枚,架构略懂。
MGR在美团点评中的优化
MGR是MySQL官方推出的高可用解决方案,在保证多数派节点正常工作的情况下,可以做到数据零丢失。该特性对于美团点评具有重要意义,尤其是金融相关业务。美团点评从2017年开始,在内部CMDB系统上开始试用MGR;2019年开始,在公司金融业务上使用MGR。本次分享首先会介绍MGR在落地金融业务中遇到的性能抖动问题,详细分析针对这些问题所做的内核优化;其次介绍为了支持异地部署(北上),我们对MGR代码所做的重大架构变更。分享提纲:1、分析MGR的原理和软件架构;2、介绍MGR在美团点评中遇到的性能抖动问题;3、针对原生MGR难以进行异地部署等方面的不足,提出了非对称架构并介绍其实现。分享要点:首先,通过介绍原生MGR的架构,以及这些架构背后的思考;其次,介绍美团点评的相关业务在使用MGR时,遇到的性能问题抖动问题,以及相关问题我们的解决方案。另外会介绍在遇到相关问题时,我们的解决思路和办法;后,介绍美团点评在MGR的异地容灾方面所做的工作。在异地部署下,由于MGR架构的特点,数据库的响应时间会成数量级的上升。为了解决这个问题,我们为MGR引入多种角色,不同的角色有不同的行为。该设计不仅保证单个城市发生故障时,数据不丢,而且还能保证正常情况下的低响应时间。
7年多DBA和内核开发经验,开源数据恢复软件MyFlash作者。美团点评内部基于代价的智能SQL优化器作者。美团点评MySQL内核的核心开发和维护者之一。专注OLTP类数据库的内核技术和运维工作,乐于挑战和解决疑难问题。