绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
2015DTCC大会 专场6 成就直达号的大数据引擎技术专场 PPT
2019-12-14 17:25:47

演讲主题:百度开放云

简介:面向企业客户的百度开放云孕育多年,整合了百度计算、存储、网络等多项国内甚至国际领先的高精尖技术,已正式对外开放,旨在为企业提供简单高效及安全可靠的云服务。其将携百度直达号等生态共建生态闭环,实现共赢。

演讲嘉宾:郑建强 百度基础架构部技术经理

2009年4月加入百度,作为分布式云存储方向负责人,参与和负责分布式文件系统、表格存储、对象存储、KV存储等多个国内领先的存储系统研发工作,有效支撑了百度搜索、网盘、地图等业务的海量数据,曾获得"佳百度人"、"百度伯乐经理人"等多项荣誉,并在多项国际编程赛事中获奖,包括TopCoder Open Development Finalist、Google Code Jam 2005 10th place、ACM/ICPC Finals 2006 13th place。


演讲主题:多媒体数据流服务

简介:多媒体作为企业网站不可或缺的形式之一,其数据的多样性对于存储技术是极大的考验,另外媒体转码技术对于其终展现的清晰度与流畅性也至关重要,本次将分享数据存储到网络CDN再到转码的全流程百度多媒体开放云服务。

演讲嘉宾:李旭 百度基础架构部研发经理

曾在英特尔等公司任职,并于2010年初加入百度,先后服务于百度联盟、凤巢、云计算等产品,其负责的内部创业产品百度移动测试中心mtc.baidu.com于2012年开放,被称为百度面向开发者提供的七利器之一,本人曾获得"百度总裁特别奖"、"百度伯乐经理人"等多项荣誉。目前负责百度开放云直达号建站、数字媒体等领域解决方案和业务系统的研发。


演讲主题:Wing - 新一代百度大数据查询引擎

简介:查询引擎(QueryEngine)是大数据处理的利器,极低的学习成本和高效的查询实现极大提高了数据分析的效率,将数据分析领入大数据时代。 Wing是百度自研的查询引擎,提供SQL-Like的HQL接口和以关系操作为API的C++接口。目前业界广泛使用的查询引擎Hive模块耦合较高,不易移植到其他计算框架,限制了二次开发的效率。开源界后续涌现的adhoc场景查询引擎如Impala、Spark SQL等,不得不重复实现查询处理逻辑。为满足不同场景而引入多个系统将会是很大的运维负担。因此在设计上,Wing专注于完成查询处理,与具体计算框架解耦,旨在成为查询处理的公共组件。这样,公共的查询处理能够在多个分布式计算系统上运行,如MapReduce、Spark等,运营代价随之降低。更重要的是,对Wing做的查询优化可以惠及所有计算系统,在多种查询场景下取得收益。在系统实现上,Wing参考了通用编译框架,系统分为前端语义分析、关系代数中间表示、查询优化、物理执行、元数据与存储等五个模块,各模块间实现了良好的解耦,具有强大的可扩展性。查询优化中,Wing不仅实现了常见的关系代数优化,同时也针对百度的具体应用场景做了许多优化。查询执行中,我们引入了LLVM技术,大大提升了表达式求值、投影、过滤等常见场景的计算效率。 Wing目前已经在百度内部推广使用,在常见的查询场景下即展现出优越性能,成为大数据处理的核心组件。

演讲嘉宾:刘成 百度大数据部研发工程师

百度大数据部研发工程师。当前是Wing引擎的核心设计和开发者。


演讲主题:百度OLAP系统实践

简介:介绍百度olap应用场景;百度olap发展过程;百度新一代olap系统-palo的架构、关键技术和对外开放计划。palo是一个面向分析的并行数据库系统,能够在百TB~PB大数据集上提供毫秒~秒级别的实时数据分析,较好地满足了报表和多维分析的需求。目前在百度已经部署了500+台机器,上线了70多个应用,大的单一业务数据量有300TB。本演讲会重点介绍palo在高性价比、易用性和高可用上的工作。

演讲嘉宾:王猛 百度大数据部架构师

2010年加入百度,先后从事分布式计算、分布式存储、数据系统的研发工作。2013年为百度hadoop团队技术leader,2014年开始负责百度OLAP系统的工作。

  • Wing-新一代百度大数据查询引擎-刘成.pdf

    735KB
  • 百度多媒体数据流服务-李旭(更新).pdf

    1839KB
  • 百度开放云-郑建强.pdf

    3089KB
  • 百度olap系统实践-王猛.pdf

    4006KB
分享好友

分享这个小栈给你的朋友们,一起进步吧。

中国数据库技术大会(DTCC)
创建时间:2019-04-22 14:03:20
中国数据库技术大会(简称DTCC)是国内数据库及大数据领域专业的技术交流盛会。DTCC每年邀请百余位行业专家,就热点技术话题进行分享,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供具价值的交流平台。
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

栈主、嘉宾

查看更多
  • DTCC官方账号
    栈主
  • ?
    嘉宾
  • 飘絮絮絮丶
    嘉宾

小栈成员

查看更多
  • 栈栈
  • 小雨滴
  • coolriver
  • 唐川ITPUB
戳我,来吐槽~