绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
从0到1打造开源项目
2023-03-28 11:00:07

本期名人堂很荣幸邀请到Apache SkyWalking 和Apache ShardingSphere的核心贡献者高洪涛老师来分享自己的开源历程。

1.您好,高洪涛老师!很荣幸有机会采访到您,先简单介绍一下您自己?

大家好,我从业近15年的时间了,目前在湾区的一家创业公司Tetrate。公司主要的业务方向是用户提供企业级ServiceMesh服务,产品核心包含了Istio,Envoy和SkyWalking这三个主要的开源项目。

加入Tetreate之前是华为软件开发云技术专家,对云原生产品有丰富的设计、研发与实施经验。对分布式数据库、容器调度、微服务、ServicMesh等技术有深入的了解。

在开源领域,目前Apache SkyWalking和Apache ShardingShpere的PMC成员,也是这两个项目的早期参与者。对开源项目的管理、推广和社区运营有丰富的经验。

我不仅深入参与开源项目,同时也积极参与技术分享,曾在多个技术大会中做过交流,包括DTCC,ArchSummit, Top*100,Oracle嘉年华等。在InfoQ,OSChina等多个媒体发表过文章。同时是Apache SkyWalking实战》和《深入理解Istio》的联合作者。

2.您之前在互联网与云计算行业10以上的时间,为何考虑创业,创业后主要负责的工作是?

我是Apache SkyWalking社区PMC成员,加入Tetrate主要是将SkyWalking引入公司的产品中。经过三年的时间,已经完美解决SkyWalkingIstio之间的结合近年做了一系列相关的分享,包括服务指标,拓扑图和ondemand日志等有趣的功能。

近期主 SkyWalking自研数据库-BanyanDB研发和社区运营工作。BanyanDB是SkyWalking一个子项目。SkyWalking曾在存储层选型有很多抉择。选用HBase,是一种传统的选择。众多以Dapper论文为基础的trace系统都会选择HBase或类似的存储引擎。之后我们全面转向了Elasticsearch,这是目前使用为广泛的搜索引擎SkyWalking利用现代搜索引擎的高扩展性来接受并存储大量可观测性数据,并利用它强大的搜索功能来实现快速的数据检索。

BanyanDB的目标是在实现较高查询性能的基础上,竭尽所能提高数据的存储密度和吞吐量,达到较高的性价比。SkyWalking使Elasticsearch所面临的大问题是其性价比非常低它需要大量的存储空间来获得较高的查询性能。我们希望BanyanDB在保持所需查询性能的基础,能够大*程度压缩数据未来希望利用像S3等对象存储,来进一步提高数据的价值密度。

3.是什么契机促使您加入Tetrate呢?

我之前在华为主要的方向就是云平台,在可观测云领域中深耕了多年,对云原生可观测性有深入理解。同时是Apache SkyWalking社区早期的联合创始成员之一我们社区是首*款面向于企业级用户使用的开源可观测性平台,而且是首*个国人以纯社区的运营模式为基础,加入Apache 基金会的开源项目。也是在SkyWalking加入Apache 后,整个的基金会的中国项目呈现了蓬勃发展的态势。所以SkyWalking对于整个中国开源Apache 基金会重要意义的项目。

在要加入Tetrate的时候, Istio和ServiceMesh相关领域还处在萌芽的阶段但我敏锐地观测到ServiceMesh是将会成为未来云计算的重要基础设施,就像当年的dubbo和nginx。近年发展,不仅互联网企业,甚至传统的企业用户也越来越喜欢ServiceMesh,希望采用ServiceMesh来实现系统现代化。

我们将SkyWalkingIstio进行了完美的融合提供了不同层次的产品线。同时,这种融合也向用户展示了利用于开源社区为内核是可以提供有效商业化服务的。从而帮助企业用户解决他们所面临的服务管理、安全和观测性难题

4.在自研工作中曾遇到过哪些问题?又是如何解决的?

0到1研发一款数据库,单纯从它的目标就知道挑战是非常巨大的。

首先,数据库系统经过多年的发展,特别是近15年NoSQL和NewSQL井喷式的发展。数据库领域必然会产生各种各样的新思想和观念。它们与旧的传统和理念激烈碰撞,导致质疑、反对,甚至愤怒弥漫在整个数据库领域内

首先遇到的挑战就是质疑为何要构建一个自己的数据库,不直接采用目前市面上已有的数据库产品为何不在前人基础上去构建因为BanyanDB数据模型分类,属于时序数据库,目前众多类似数据库,那么BanyanDB独特之处是什么

回应这个质疑其实非常简单:就是不合适。在以往多次演讲中,我都会分享RUM假说。其基本概念是用三角形约束来定义数据库的访问模式:写入读取存储空间。每种数据库都需要在三者之间取得平衡。目前市面上大部分的数据库都是在优化读取。但APM领域,SkyWalking所面临的可观测性场景中,写入和存储空间的重要性比读取高得多metrics的读取一般是在近期,比如半个小时到三个小时之间。其历史数据往往逐步变冷而失去价值logstraces更是如此,甚至并不会实时的读取logstraces。当然这里有一个假设是排除了离线日志分析场景,单纯是从运维角度问题大部分日志是不会被读取的,甚至是包含错误信息的日志只有用户真正发现系统有问题,需要debuggingprofiling才会去看logs和traces。他们才会希望从中发现更有价值的信息而定位致命故障和性能异常。所以如何更好的将数据存到磁盘上,提高单位空间内数据量进而提高单位存储空间之中数据的价值这是BanyanDB所考虑的放眼整个APM和数据库领域,难找到满足类似条件的数据库这就是BanyanDB存在的价值。

另一个是技术问题并不是进行理论创新,而是对各种已理论的可实现进行合理评估。数据库发展多年,近年新思想异常活跃。如何从众多的技术中选择适合BanyanDB,就成为面临的主要问题了。我们的设计目标非常简单就是要化繁去简,把多余的东西从核心逻辑中去掉。我们需要研究候选技术产生背景,判断该背景是不是要去面对的这是非常有挑战的另一个挑战点就是进行场景验证SkyWalking的场景非常丰富依托于强大的开源社区,可以接触到各种各样的 APM场景这是研发通用数据库难以获取的优势大部分新数据库的研发都是基于一种理论,在实践中慢慢磨合BanyanDB在研发过程中就积极与SkyWalking整个生态进行整合。虽然延长了研发周期,但可以更从容的解决数据库在真实环境中产生的问题。

所有开源社区,特别是纯社区运营的,大难点在于贡献者的时间安排。目前有非常多的技术人员对开源、可观测性技术、数据库感兴趣,也很愿意参与进来。这就存在两个巨大的挑战:就是时间问题。贡献者都是有自己本职工作,如何利用有限的时间参与开源社区,是非常有挑战的。同时,项目管理者如何安排和规划任务难度也很大。第二,像SkyWalking落脚于比较小众领域—APM。如何理解领域的数据特点,是需要开发者耐心的。后,就是数据库本身难度也比较高。了解数据库内部运行机制原理的潜在贡献者实际上不多,这也限制了贡献者的数量。好在 SkyWalking和BanyanDB是开源的国际化社区。在国内和国际上都获得了很多反馈,包括北美、欧洲和印度小伙伴共同做建设。虽然时间跨度很大,但经过持续的累积,终也能得到希望的结果

5.BanyanDB的核心产品以及产品特性是什么?为何能获得业内广泛关注和用户的高度好评?

BanyanDB作为SkyWalking的原生数据库,目前还处于高速研发的阶段BanyanDB从理念上与目前主流数据库是有明显区别的。它不仅创新了存储结构,优化了分布式的拓扑方式,同时结合现代组件,共同构建了完整的针对于APM领域的数据库。

BanyanDB一直受到数据库APM领域的广泛关注。它不仅提供了完美解决可观性数据的模式趋势,诞生过程也引人注目我们社区人员主要擅长应用级的服务鲜有触及数据库核心之所以进入到数据库领域,主有两个原因:

是我们对于数据是非常的关注。项目早期使用HBase,因为Daper本身是基于Google的BigTable。当时可观测性开源领域项目还相对稚嫩HBase被广泛使用。但它的吞吐量响应时间不理想,运维难度高,消耗资源巨大,性价比低SkyWalking也尝试过传统的关系型数据库,随着以Lucene为底色的ElasticSearch诞生在很长一段时间中,我们都在使用它来作为SkyWalking的核心存储。ElasticSearch解决Lucene写入困难更新慢的缺憾,适用于观测性领域这种需要大量数据吞吐的场景。第二是其可靠的响应时间。它的索引结构对于即席查询非常友好可以有效支撑logs,tracemetrics的查询。即使一些复杂的查询结构如拓扑图,也可以凭借其索引快速响应查询请求

随着ElasticSearch逐步在企业的应用,会发现一些性能问题。它的消耗是非常巨大的,每天产生TB甚至于PB级的数据这在一些大型企业中是非常常见的,而且ElasticSearch的维护非常难。特别是众多公司ElasticSearch定位在大数据或BI产品线,所使用ES的模式往往进行批量性的导入,然后半离线查询。这与SkyWalking实时写入查询模式存在一定冲突使SkyWalking不能发挥ES的*佳性能。同时SkyWalking是运维工具运维组在国内话语权一向比较低,获得可用资源会更少更无法负担高配置的ES集群。虽然从功能角度看,ES是相对完美的方案,但是从性价比实际落地效果看,ES面临的挑战依然巨大。

那能不能在此基础上做改变呢?其实是很困难的,一来ES内部是通过大内存结构把数据缓存起来,加速查询且集群中只有leader节点可以进行写入。故其写入会有热点,且查询消耗很多内存资源。实际上APM领域的应用只使ES一少部分功能,促使我们去构建一个适用于SkyWalking的数据库。我在ShardingShpere项目中研究分布式数据库已有多年经验,并且开设了分布式领域的在线课程,但课程主要面向于NewSQL,关系型数据库在分布式领域的应用。备课时无意中发现了 RUM假说。实际是一种三角结构,角的顶端分别代表数据的写入、读取和存储占用。这种假说认为三个点之中如果优化其中两个点,必然对第三个点带来影响。比如在传统数据库中,往往会优化读取,然后在存储空间和写入吞吐中做一些平衡。有些高吞吐的数据库,可能会占用大量额外的存储空间。而空间利用率很高的数据库,它写入就会受影响。

APM价值是很低的。有时数据写入直到被删除,根本就不会被读取。见这些数据的单位空间价值很低。如果利用假说中的三角关系,就可以将读取必要条件变成可选条件。从而使优化集中在写入和空间利用率上。这就是BanyanDB构建整个产品形态的底层逻辑。正因为逻辑特殊,数据库行业很少有人去实践此类数据库。它的应用领域很明显是针对于APM的,这与数据库产品化的思路相违背。而APM领域很少有意愿去构建一款自用的数据库,因为目前该领域没有发展到深耕状态,所以BanyanDB是首创,它的关注度和参与热情较普通数据库高。

6.BanyanDB可以解决哪些问题?什么场景适用于使用BanyanDB

BanyanDB脱胎SkyWalking社区,主要面向APM领域。RUM假说的哲学思想,就是利用RUM三角构造面向于特定领域的数据库。为什么很难使用通用数据库来达到同样的目的呢?

传统的应用领域很狭窄,基本围绕着关系模型来解决问题。过去的40年涌现多种数据库模型除了关系模型以外,也曾经出现过对象模型等。但关系型可以相对完美地去替代它们,达到一统江山的地位目前大数据AI时代产生的数据量是几何形增长的。硬件发展速度已经无法与这种趋势相匹配了,必须从数据库的底层逻辑去重新优化和构建。

除了BanyanDB,越来越多的数据库涌现出来他们产生的背景来自不同领域比如图数据库,脱胎于我们的社交网络和web3.0发展。时序数据库是云原生可观测性需求发展而来的。同样如此,BanyanDB的驱动就是SkyWalking APM

适用的领域单一不代表它的功能也简单其实上BanyanDB是一种多模的数据库。它除了支持时序数据存储以外,同时也支持键值对(Key-Value这种无模式的数据存储虽然BanyanDB主要处理的数据是一些时序和日志数据APM领域需要对元数据进行管理。这些数据如果用时序模型存储是不合适的,因为数据本身与时间并不相关。且在分布式下,数据的一致性要求比时序数据要高。面对这种需求,BanyanDB引入了基于Raft算法数据存储

如果使用BanyanDBAPM领域构建应用,无需使用额外的数据存储支持它同时可以覆盖用户在领域内对存储的全部需求。甚至相关的一些业务功能可以使用BanyanDB实现比如SkyWalking的定制化UI就是用BanyanDB来进行存储。这些数据会被很好地融合在一个库,这是大部分数据库所不具备的。因为市面上混合多模数据库没有针对APM领域的优化,而APM领域却又是一个典型的需要混合多模的场景。BanyanDB在此场景下具有很大的优势。

7.BanyanDB的下一步规划是什么?

BanyanDB还处于高速成长的阶段。虽然完成了单机节点的实现但是离真正面向生产级的应用还有很的路要走,未来主要在两个方向并行:

首先要推动它的分布式模式的设计与落地。分布式架构已经完成了很多的预研测试,主要的一些方向已经确定

BanyanDB不仅在集群内部可以做到数据的负载均衡和高可用同时支持跨数据中心的数据复制。当然主要支持的方向是将一些叶子节点的数据汇集到中心节点,提供一个低延迟度的数据查询服务。是一种中心化只读数据报告的模式。

其次,同时推进BanyanDB的性能和稳定性测试。计划利用混动工程来快速验证数据库架构。同时,需要确认BanyanDB的吞吐量是否达到了设计目标。后,我们感兴趣是进行对比测试。这些预计会在今年上半年逐步推出。

8.如何理解国内开源生态链,有什么关于开源方向的意见和建议吗?

在聊国内的开源领域之前作为Apache基金会项目的管理者,我先跟大家分享一下Apache基金会的创始理念

Apache基金会资金基础来自Apache服务器产生的可观收入早期的项目来源主要是一些个人项目和被大公司淘汰的技术。原开发者认为这些技术还是比较有价值的,将它转移到开源基金会可以说开源社区所包含的大部分项目实际上在商业领域并不具备特别大的价值只是随着时间延续逐步进行了迭代慢慢被更多人采用。从本质上来讲,不必支付费用,只要遵循开源项目的规则就可以使用它,甚至把它集成在商业产品中免费和开放产生了相互叠加作用,是如今开源的影响力达到繁荣状态的本质原因

但是开源社区和其运营模式发展到今天,特别在我国已经产生了比较大的异化。很多开源项目背后都有商业公司的强力支持从他们的开源贡献者提交发布节奏上看,好多都是将公司内部已经完成交付产品,甚至开发生命周期的产品暴露到开源领域很明显他们希望在多个方面获得收益

首先是打造技术影响力吸引更多的开发者使用其产品。另外由于是开源的,从安全审批上可以做相关的规避后会产生一些附加利益,利于招聘销售开源产品可以提高团队和公司声誉。好多公司都是利用开源提高自己的声量进行一些商业化的尝试。这是现在开源生态繁荣背后的底层逻辑。

这样的状态好吗?我觉得完全没有问题。一个领域,能有这么多人参与,必定能带来很多不一样的想法和思路。虽然早的开源项目本身商业价值不高,但是随着其不断发展和开放逐渐带来商业价值。同时开源项目带有知识共享属性知识的碰撞与共享会产生非常积极的作用这也是开源社区蓬勃发展的另一个原因

唯*一需要注意或者避免的是不应将所谓的开源项目紧紧的抓在自己手上。很多开源项目仅将公司一些产品进行了代码的开源,对一些设计的反馈和改进意见反应比较缓慢。甚至管理者大多数情况下都会置之不理,使这些“开源”项目成为他公司产品的镜像备份或者项目管理者将公司内部人员充实在开源相关的核心位置从而控制整体的走向和思路这些并不符合开源的精神内核。在社区文化构建上,我们国内开源领域还有提升的空间随着开源项目和参与者增多,终究能够体会到开放才是整个开源的核心价值。目前越来越的项目,特别是新项目更注重开放性和社区生态的多样性

现在谈论一下开源选题的问题。

许多想做开源的朋友都会问我关于开源选题的建议,那就是一个你感兴趣的选题。兴趣是一种内驱力。只有在这种内驱力的作用下,你才能全心全意的参与开源项目。因为做开源,需要投入很多的精力。如果没有内在支撑,开源项目的生命周期会非常短,一个成功的项目必须具备较强的生命力。

项目启动后,常见的问题是:前期没有人来贡献,也没有热度。这就是开源项目积累阶段。此时首先需要的就是降低项目的可参与门槛。项目的新手引导、原理解析、路线图和实际案例都是低门槛的手段。潜在贡献者就可以理解项目脉络,逐步会参与进来。

关于社区交流语言的选择也是很重要的。整个Apache基金会的工作语言是英文,虽然SkyWalking大部分参与者都是中国人,但是也以英文交流为主。我们希望去拥抱整个世界,去集合全球资源共同打造顶*级的开源项目。如果你的目标也是如此,那么以英文作为工作语言就很必要了。

当项目有一定增长后,要在社区内部协商和构建各种流程。包括新手引导、常见问题指引和发版流程等。要形成操作文档和手册,方便不同的贡献者来操作。要避免把固定的事情交给固定的人,人员贡献热情会随着时间有很大的变化。人员变化往往是不可预知的,有时也很难有工作交接。故文档化流程是非常必要的。

后,谈一谈人员招募。我们一直在吸引新人来参与项目,特别是在校生。因为他们的热情比较高。虽然能力有限,但乐于学习。每年有各种夏令营活动,开源社区多参有助于吸收更多的新人。人永远是开源社区重要的资产,而不是技术本身。技术是可以积累的,但热情只会被消耗。我们要持续吸收新人,永远对新知识抱有开放的心态,这也是做开源所必要的素质。

分享好友

分享这个小栈给你的朋友们,一起进步吧。

名人堂
创建时间:2021-09-03 14:18:51
名人堂是一档面向广大IT人士的高端访谈类栏目,本栏目将诚挚邀请国内外IT领域的专家、创业者或IT技术新秀,以分享行业技术、人生感悟、职场经历为线索,共享他们的传奇人生
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

栈主、嘉宾

查看更多
  • gaokeke123
    栈主
  • LCR_
    嘉宾
  • 安全频道
    嘉宾

小栈成员

查看更多
  • hwayw
  • 飘絮絮絮丶
  • 梅邱_001
  • wuxiwen
戳我,来吐槽~