演讲主题:百度开放云
简介:面向企业客户的百度开放云孕育多年,整合了百度计算、存储、网络等多项国内甚至国际领先的高精尖技术,已正式对外开放,旨在为企业提供简单高效及安全可靠的云服务。其将携百度直达号等生态共建生态闭环,实现共赢。
演讲嘉宾:郑建强 百度基础架构部技术经理
2009年4月加入百度,作为分布式云存储方向负责人,参与和负责分布式文件系统、表格存储、对象存储、KV存储等多个国内领先的存储系统研发工作,有效支撑了百度搜索、网盘、地图等业务的海量数据,曾获得"佳百度人"、"百度伯乐经理人"等多项荣誉,并在多项国际编程赛事中获奖,包括TopCoder Open Development Finalist、Google Code Jam 2005 10th place、ACM/ICPC Finals 2006 13th place。
演讲主题:多媒体数据流服务
简介:多媒体作为企业网站不可或缺的形式之一,其数据的多样性对于存储技术是极大的考验,另外媒体转码技术对于其终展现的清晰度与流畅性也至关重要,本次将分享数据存储到网络CDN再到转码的全流程百度多媒体开放云服务。
演讲嘉宾:李旭 百度基础架构部研发经理
曾在英特尔等公司任职,并于2010年初加入百度,先后服务于百度联盟、凤巢、云计算等产品,其负责的内部创业产品百度移动测试中心mtc.baidu.com于2012年开放,被称为百度面向开发者提供的七利器之一,本人曾获得"百度总裁特别奖"、"百度伯乐经理人"等多项荣誉。目前负责百度开放云直达号建站、数字媒体等领域解决方案和业务系统的研发。
演讲主题:Wing - 新一代百度大数据查询引擎
简介:查询引擎(QueryEngine)是大数据处理的利器,极低的学习成本和高效的查询实现极大提高了数据分析的效率,将数据分析领入大数据时代。 Wing是百度自研的查询引擎,提供SQL-Like的HQL接口和以关系操作为API的C++接口。目前业界广泛使用的查询引擎Hive模块耦合较高,不易移植到其他计算框架,限制了二次开发的效率。开源界后续涌现的adhoc场景查询引擎如Impala、Spark SQL等,不得不重复实现查询处理逻辑。为满足不同场景而引入多个系统将会是很大的运维负担。因此在设计上,Wing专注于完成查询处理,与具体计算框架解耦,旨在成为查询处理的公共组件。这样,公共的查询处理能够在多个分布式计算系统上运行,如MapReduce、Spark等,运营代价随之降低。更重要的是,对Wing做的查询优化可以惠及所有计算系统,在多种查询场景下取得收益。在系统实现上,Wing参考了通用编译框架,系统分为前端语义分析、关系代数中间表示、查询优化、物理执行、元数据与存储等五个模块,各模块间实现了良好的解耦,具有强大的可扩展性。查询优化中,Wing不仅实现了常见的关系代数优化,同时也针对百度的具体应用场景做了许多优化。查询执行中,我们引入了LLVM技术,大大提升了表达式求值、投影、过滤等常见场景的计算效率。 Wing目前已经在百度内部推广使用,在常见的查询场景下即展现出优越性能,成为大数据处理的核心组件。
演讲嘉宾:刘成 百度大数据部研发工程师
百度大数据部研发工程师。当前是Wing引擎的核心设计和开发者。
演讲主题:百度OLAP系统实践
简介:介绍百度olap应用场景;百度olap发展过程;百度新一代olap系统-palo的架构、关键技术和对外开放计划。palo是一个面向分析的并行数据库系统,能够在百TB~PB大数据集上提供毫秒~秒级别的实时数据分析,较好地满足了报表和多维分析的需求。目前在百度已经部署了500+台机器,上线了70多个应用,大的单一业务数据量有300TB。本演讲会重点介绍palo在高性价比、易用性和高可用上的工作。
演讲嘉宾:王猛 百度大数据部架构师
2010年加入百度,先后从事分布式计算、分布式存储、数据系统的研发工作。2013年为百度hadoop团队技术leader,2014年开始负责百度OLAP系统的工作。