绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
2022SACC专场16-分布式存储设计与实践(下)(PPT下载)
2022-11-10 15:22:25

JuiceFS平台构建与海量数据存储实践

演讲简介:

共享文件系统JuiceFS在携程的平台化过程、海量数据场景的存储实践,以及Elasticsearch等典型应用实现降本增效方案。

分享大纲:

1.数据场景介绍、痛点

2.技术选型与POC

3.JuiceFS 架构与原理

4.生产架构(平台化)演进

5.典型业务佳实践

6.成果与展望

分享要点:

1.JuiceFS平台化需求产生的背景:携程存在规模10PB+ 冷数据,数据类型差异较大,包括备份数据、图片语音训练数据和日志数据等,现有存储方案主要是本地磁盘和GlusterFS。该方案存在性能、弹性、成本三方面的痛点。

2.数据场景痛点的解决方式:混合云的方式实现降本增效,借助公有云降低运维成本,ES、CK等典型使用场景通过单副本方案节省存储空间、内存。海量数据上云需要面临的挑战。

3.技术选型与POC:JuiceFS、TIKV性能测试结果与结论分析。

4.JuiceFS架构与原理:介绍基于fuse的用户态文件系统、JuiceFS的读写流程与优化思路;

5.JuiceFS平台架构演进:从简架构到可以支持10PB+数据的存储平台,分析演进过程中遇到的故障与优化方案,包括TIKV优化、加速数据清理、限流方案、volume数据备份管理等。

6.典型业务佳实践:DB数据备份场景(10PB级)、Elasticsearch引擎部分原理与特点以及两种应用方案。

7.成果与展望:

成果:支持大数据规模、降低成本、部分组件实现一定程度的存算分离。

展望:提供proxy层提高用户体验、实现快速故障隔离;JuiceFS不停服升级、重启方案。


嘉宾介绍:

张妙成 携程 云原生研发工程师

2020年加入携程,主要负责 Elasticsearch、JuiceFS 的研发、运维工作。

Elasticsearch PAAS 负责人,致力于提供基于Elasticsearch的稳定、高性能的搜索、数据分析能力。

负责共享文件系统JuiceFS 的平台构建以及在携程海量冷数据场景下的落地,提供稳定的数据上云、数据共享能力。个人从事过业务开发、PAAS研发等岗位,多年ElasticSearch使用开发经验,对搜索分析系统、日志系统的设计与调优有丰富经验。


Apache IoTDB 0.14.0 分布式新特性及核心技术

演讲简介:

工业物联网机器设备感知形成工业物联网时序数据,相关技术已列入《中国制造2025》规划,是国家战略发展重要举措。为满足新时代工业时序数据管理的需求,Apache IoTDB 项目启动,支持“端-边-云”数据协同部署,目前,Apache IoTDB已在钢铁冶炼、石油化工、飞机制造、核电、风电、智慧电厂、城市交通运输等多个领域得到应用。今年 Apache IoTDB 在发布 0.13 系列版本的同时,社区也在进行下一代分布式时序数据管理技术的探索和研发。本次演讲会围绕工业时序数据管理的挑战,分享 Apache IoTDB 的核心特性和分布式的设计理念。

分享大纲:

1.行业背景与挑战

2.现有技术的问题

3.产品功能和优势

4.IoTDB分布式架构

5.未来规划

分享要点:

时序数据库 Apache IoTDB的设计理念,解决的核心问题,分布式架构的核心特性,如数据一致性、数据分区等。


嘉宾介绍:

乔嘉林,清华大学博士,助理研究员。Apache IoTDB PMC,开放原子基金会银牌讲师,中国通信学会开源技术专委会学术秘书,获北京市科技进步一等奖。


云音乐分布式KV存储实践和演进

演讲简介:

云音乐算法业务在数据存储和读写方面面临诸多技术难题和挑战,如存储场景复杂多样、数据规模大和请求并发高低延迟要求等,而单一的开源存储如Redis、Hbase等只能解决部分业务场景的存储问题,且多种存储方案带来了过高的业务接入成本和维护成本。在此背景下,我们首先引入了开源存储Tair,并针对Tair存储进行了深度优化和改造,大幅提升了不同的算法业务场景中存储效率和空间使用,为云音乐算法业务打造了一套统一化的特征存储服务,支撑业务峰值QPS超800w/s,读写请求超4000亿次/天,存储算法特征数据量100TB+,在高效解决业务在复杂场景下的存储难题的同时,也极大降低了存储资源成本。后,在上述工作基础上,为了能解决Tair存储架构存在的局限和不足,我们自研了一套适用多场景应用的KV数据库系统NuBase。在此过程中,团队积累了从开源改造到自研的丰富经验,形成了一些可供复制和参考的技术沉淀,本次演讲的主要内容就是围绕团队在KV数据库领域的应用和创新方面所积累的经验,以及遇到的问题进行分享,希望能给大家以参考。

分享大纲:

1、背景与挑战

2、技术选型

3、Tair改造方案

4、NuBase自研方案

5、未来规划

分享要点:

分布式存储如何结合推荐搜索等算法业务场景选型,如何针对特定业务场景落地定制化存储方案,如何在分布式KV存储领域进行应用和创新,对通用型KV存储的设计思考和实践进行分享。


嘉宾介绍:

张磊 网易云音乐 存储工程师

主要专注于分布式NOSQL数据库,热衷于NOSQL数据库领域的应用和创新,曾先后任职于唯品会、eBay、网易云音乐等公司,承担和负责分布式KV数据库相关研发和运营工作,具备一定的分布式存储领域技术沉淀,对于推荐搜索等算法业务场景的特征数据存储有深入理解,在复杂业务场景数据存储的“量身定制“方面有丰富的经验,设计实现和落地了部分特定场景的创新性的KV存储方案,致力于通过自研和创新的存储实现为业务赋能的目标。

  • 正式版_云音乐分布式KV存储实践和演进.pdf

    1818KB
  • JuiceFS平台构建与海量数据存储实践.pdf

    3078KB
  • 2022 Apache IoTDB 0.14.0分布式核心技术.pdf

    19948KB
分享好友

分享这个小栈给你的朋友们,一起进步吧。

SACC中国系统架构师大会
创建时间:2019-06-18 13:57:01
中国系统架构师大会每年都将邀请百余位行业专家,就热点技术话题进行分享,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供具价值的交流平台。
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

栈主、嘉宾

查看更多
  • SACC官方账户
    栈主
  • gaokeke123
    嘉宾

小栈成员

查看更多
  • 小雨滴
  • 栈栈
  • 老七
  • 韩涵
戳我,来吐槽~