1、Phaors-可插拔的HBase索引组件
演讲简介:
Pharos是基于HBase内置Coprocessor机制实现的二级索引组件,不需要其他软件产品配合即可实现基于二级索引的多条件、复杂查询,支持批量数据加载和联机数据更新(实验版本)两种模式。Pharos的特点是非侵入性,不修改HBase源码;适用于通用的多条件查询场景;在联机写入场景下,可以保证索引与数据事务一致性。Pharos是光大银行独立研发的基础软件,非常期待通过本次大会与HBase社区的伙伴们分享我们的工作成果。
王磊 光大银行 架构师
嘉宾介绍:
光大银行领域架构师,Pharos主要架构设计与开发者,曾任职IBM全球资讯服务部从事技术咨询工作,具有十余年数据领域研发及咨询经验。目前负责光大银行数据领域相关系统的日常架构设计、评审及内部研发等工作,对分布式数据库、Hadoop基础架构等方向有浓厚兴趣。
2、PB 级 ElasticSearch 集群架构设计与平台化演进
演讲简介:
本次演讲主要分享随着 ElasticSearch 集群数量和规模不断变大过程中遇到的运维成本高、性能调优困难、高可用难以保障等常见问题的应对思路,以及如何演化成通用服务平台进一步降低接入和使用成本的演进过程,内容包括同程艺龙 ElasticSearch 平台的架构设计、部署与调优、监控报警、接入规范以及多数据中心高可用保障等多个方面的思考和实践经验总结。
周祝群 同程艺龙 研发中心技术专家
嘉宾介绍:
大数据系统与平台开发领域专家,主导设计与开发同程艺龙多个高并发、高吞吐和高性能分布式应用系统,长期专注研究大数据生态相关技术,对 ElasticSearch 有着非常丰富的实践与优化经验。
3、搜狗 EB 级别大数据平台架构优化实践
演讲简介:
本次主题主要分享搜狗大数据平台架构演进历程,涉及大数据存储和计算引擎架构优化。在 HDFS 层面,搜狗自研智能存储管理系统智能分析处理冷热温数据,将冷数据存储成本降低了70%,并利用 SSD 将热数据读写性能加速20%以上。同时为进一步提升集群的 QPS,搜狗引进 Observer 一致性读功能,根据负载实现读写分离提升集群吞吐量;在计算引擎方面,搜狗自研集群间弹性计算框架,提升集群资源利用率,同时研发资源超售模型,动态调整任务资源限制,提升任务稳定性与集群利用率。
罗格 搜狗 开发工程师
嘉宾介绍:
2015年哈尔滨工业大学硕士研究生毕业后就一直在搜狗工作,目前担任搜狗大数据平台部的开发工程师,主要负责大数据平台数据存储和计算引擎相关的优化工作;在社区 Hadoop 版本基础上针对 HDFS 和 YARN 方面做了许多优化改进,提升集群资源利用率的同时为公司节约成本,在集群易用性方面也做了许多改进,降低 hadoop 在公司内部的使用门槛;同时积极参与社区讨论,针对这些优化及改进工作向社区提交了多个 patch。
4、陌陌大数据平台在 SLA 驱动下的演进实践
演讲简介:
陌陌从2014年底启动大数据体系建设以来,基础数据 SLA(服务等级协议)的持续提升是各项工作开展与规划的核心驱动力。在过去几年业务增长和 SLA 提升的双重驱动下,陌陌大数据平台的基础架构从开源方案的部署应用,逐步演进到部分开源改进以及自研系统替代的阶段,过程中的解决方案与实施经验,期望能够给有自建大数据平台或者架构调整需求的架构师一些参考。
内容包括:单机房容量限制集群扩容的条件下,如何通过 YARN 资源使用优化、计算引擎升级等保持 SLA 不退化,以及跨机房平滑迁移扩容解决方案、流式数据集成系统等提升 SLA 瓶颈的实践。
金晓烨 陌陌 数据基础架构总监
嘉宾介绍:
2013年初加入陌陌,专注于数据密集型应用的系统架构研究,致力于实现公司数据平台能力开放、数据使用赋能、高 SLA 数据生产保障的团队目标,推进陌陌数据平台、数据仓库以及数据服务系统等方向持续演进。