绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
公司调度系统遇到了瓶颈?我自己创建一个!
2022-08-22 13:56:31


本期名人堂我们有幸邀请到了白鲸开源的联合创始人代立冬先生。代立冬先生与我们分享了自己社区开源的经历,详细介绍了一个开源项目是如何加入 Apache 孵化器,如何在导师的辅导下慢慢孵化、成长的过程,以及自己对开源的一些思考与建议。

 

1:代老师,您好!很荣幸有机会采访您,先简单的介绍一下您自己?

大家好,我是代立冬,开源积极分子,是白鲸开源的联合创始人,Apache Foundation Member,也是大数据任务调度平台 - Apache DolphinScheduler PMC Chair 和数据集成平台 Apache SeaTunnel Mentor(孵化导师),做了 10 多年的大数据技术,对数据工具是非常的热爱,致力于使诞生于中国的开源技术走出国门,贡献全球。作为 Apache 孵化器导师,也在帮助孵化 LinkisDevLake、HugeGraph  Apache孵化器项目!

 

2:您之前在大数据行业 10 多年,为何考虑创业,创业后主要负责的工作是?

对于创业我是这么看的,当开源项目发展到一定程度,是肯定需要商业来支撑的,开源项目初建立是热爱驱动,但不一定能长久,做开源是为了让开源项目长期发展 5 年、10 年甚至更长时间。我知道很多开源的创始团队都会将这个开源项目视为自己的孩子,那“父母之爱子则为之计深远”是自然而然的事情。开源和商业并不冲突,像我们是坚持开源核心代码的,我们的开源和商业是一个研发团队,开源为商业蓄水,商业反过来反哺开源社区,形成 “开源”-> 建标准-> 商业”-> “开源这样一个开源商业飞轮的正循环过程。

创业后,我们目前主要是打造商业化产品,目前基于 DolphinScheduler 的商业版 WhaleScheduler 也已经发布了,商业版历时数月的稳定性测试和企业级特性的打造。此外我们也在研发新一代云原生数据集成平台 Apache SeaTunnel(incubator)的核心同步引擎!

 

3:当时是怎样的一个契机促使您决定创立Apache DolphinScheduler(海豚调度)社区的?

说来也巧,我们初是帮很多大数据用户建立和组织了各种大数据技术的 Meetup,比如给 Clickhouse、Presto、Alluxio 等开源项目组织活动,在这个过程中,我们聚集了一帮社区伙伴,我们也在想自己是不是可以点儿更有价值的事情,不仅仅是使用开源,而是也能发挥自己的价值,让青春留下一点儿印记。也正好当时公司使用的调度系统遇到了一些瓶颈,我们前使用过的开源调度系统比如 Oozie,Azkaban, Airflow 等也很难满足当时对调度稳定可靠、简单易用等需求,所以就萌发了创立 DolphinScheduler的念头,我们初为开源调度命名 EasyScheduler,就是希望调度对于用户来说简单易用。有趣的是后来我们才发现 Apache 基金会的开源基本思想是 社区大于代码,而我们正好是先有的社区而后发起的开源项目,这和我们的做法不谋而合!

 

4: 当初为什么考虑进入开源这个领域?又是如何加入Apache基金会的呢?

在我10多年的技术生涯里,能明显感受到开源是一股势不可挡的技术潮流,当初使用大数据技术伙伴的工具箱里,90% 以上会使用到开源技术,开源项目修修补补是常有的事情,大家需要与开源项目所在的社区进行连接,就自然成为了开源的一份子!DolphinScheduler 进入 Apache 孵化器有一段比较曲折的故事,当时国内能带项目的 Apache Foundation Member 不超过 5 个,而且都非常忙,进孵化器需要一个 Champion  外加 3 位孵化器导师才可以,孵化过程需要花 Mentor 大量时间和精力指导项目的规范性发展,而我们当时也是十分幸运的 Apache Kylin 社区的Luke和史少锋老师介绍吴晟老师当 Champion 才得以成功孵化器,我的感觉是进这种世界的孵化器还是不那么容易的,我有一个不算恰当的比喻:进孵化器比考清华等要难太多倍,中国一年有那么多新生的开源项目,但能进 Apache 孵化器的也就几个,孵化的过程完全是一个脱胎换骨的过程,我有时会感叹进孵化器前尽管我们玩的也是不亦乐乎,但充其量也就是个开源小白。

 

5:开源项目捐赠给Apache后,会获得哪些帮助呢?

进孵化器孵化是一个重生的过程,需要反复学习和思考 Apache 文化。这其中会有项目导师的辅导,也会有孵化器导师的帮助,大部分项目需要孵化 1 年以上的时间,这个时间是学习和遵循 Apache Way 里的各种规范,比如:邮件沟通,发版要经过 2 轮投票,每轮投票要至少等 72 小时并至少有 3 个赞成票等等才行。让人印象为深刻的就是 Apache LicenseApache 项目要求使用或依赖到的组件必须与 Apache License 协议兼容,这在海外可能是常识,在国内就需要花大量时间和精力来梳理和维护 LicenseDolphinScheduler 发布个合规版本花了4 个多月的时间,但过了合规关以后已经算是开源上道了!  

 

6:您对未来国内开源大数据工作领域的发展走向怎么看 ?

我对国内开源大数据领域的发展十分坚定,我相信未来一定有诞生自中国并发展至全球化成功的项目。一是由于中国的大数据使用场景要比海外丰富的多,二是中国在一些领域比如中间件领域的贡献者技术水平正在追赶甚至超过海外水平,三是中国的开源环境非常友好,很多企业的招聘要求里会写开源优先、代码贡献者优先等激励用户参与开源社区共建的队伍里来,四是中国的开源贡献者是世界上极其勤奋的贡献者,常常能看到一些贡献者凌晨还在贡献,这是发自内心的热爱开源才能坚持下来的。

 

7:中国开源领域目前存在哪些问题?如何解决呢?

突出的几个问题:1 是国人普遍英语水平太差;2 是不喜欢邮件等异步沟通方式;3 是对开源文化知之甚少。英语水平只能靠坚持使用,多练习来提高。邮件沟通就是习惯问题,养成一个习惯就好,英语和邮件都可以通过刻意练习解决国内这 2 年随着开源的普及,越来越多的布道者加入开源文化和氛围也越来越趋于好的方向发展

 

8:未来DolphinScheduler是否考虑持续开源?

这可能也是很多新手的疑问,但这里其实大家一点儿不用担心。DolphinScheduler 是 Apache 基金会旗下的项目,不属于任何一家公司,只要被用户需要,贡献者愿意贡献,DolphinScheduler 会一直保持长期繁荣的开源发展大方向。另外我们白鲸开源是坚信开源的,开源是白鲸开源存在的基石,是刻在骨子里的 DNA, 我们公司名字基因里就有开源二字!

 

9:后,您对想要加入开源行列的小伙伴有什么建议?

开源大有可为,来一起加入开源社区共创更加美好的开源世界,撸起袖子加油干,从小 issue  fix 做起,逐渐成为 Contributor,逐步挑起大梁,成为 Committer甚至 PMC! 一步一步来,坚持做更加的自己,开源也会有更多来自中国小伙伴的声音!十分期待的你与我们一起携手同行!

 

 

 

嘉宾介绍

 

白鲸开源联合创始人、Apache DolphinScheduler PMC Chair & Apache SeaTunnel Mentor(孵化器导师)& Apache 基金会 Member & Apache 孵化器导师、Apache Local Community Beijing 成员,负责的 DolphinScheduler 2021 4 9 号正式成为 Apache 项目,这是由国人主导并贡献到 Apache 基金会的大数据工作流领域的项目

 

分享好友

分享这个小栈给你的朋友们,一起进步吧。

名人堂
创建时间:2021-09-03 14:18:51
名人堂是一档面向广大IT人士的高端访谈类栏目,本栏目将诚挚邀请国内外IT领域的专家、创业者或IT技术新秀,以分享行业技术、人生感悟、职场经历为线索,共享他们的传奇人生
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

栈主、嘉宾

查看更多
  • gaokeke123
    栈主
  • LCR_
    嘉宾
  • 安全频道
    嘉宾

小栈成员

查看更多
  • hwayw
  • 飘絮絮絮丶
  • 梅邱_001
  • wuxiwen
戳我,来吐槽~