云存储作为基础Iaas服务之一,其重要性不言而喻。相较传统存储,云存储面临的硬件基础环境更复杂,运营规模更庞大,用户场景更多样,这些问题从性能,可靠性,成本等多个维度对存储系统提出了挑战。Histor作为腾讯云的高性能云存储平台,服务了块,文件,db等诸多重要业务,为了应对云环境下的挑战,突破性的引入AI技术,在分配和访问阶段实现了用户数据的智能放置,在运营上实现了硬件故障的智能预测,有效提升了用户的性能体验,并增强了数据的可靠性。
本次分享将通过Histor来介绍AI技术在云存储种的应用实践。
吉永光 腾讯高性能存储平台HiStor研发负责人,腾讯存储领域技术专家,负责腾讯云云硬盘、云文件等存储产品研发工作。
腾讯云对象存储承载着腾讯内外部百万客户的EB级数据规模,在提供高可靠、高性价比的分布式存储底座的同时,向上贴合客户业务,提供高性能云原生数据湖架构方案、丰富的数据处理架构方案、针对于本地化部署的TStor存储一体机架构方案等。
本次分享围绕腾讯云对象存储,希望通过腾讯多年的技术积累,呈现腾讯云领先业界的存储架构方案,同时分享腾讯云对于未来分布式存储市场的判断和布局思路。
腾讯云存储产品中心产品组负责人,有丰富的分布式存储设计和研发经验,也曾完成过数百家国内头部企业客户的云上存储架构设计。
当今分布式存储进入一个发展相对稳定的状态,对于支撑传统文件、块、对象等重吞吐轻延迟的业务都有非常成熟的经验。但是如何与数据库这类轻吞吐重延迟的业务深度结合,这给分布式存储带来了新的问题。
GaussDB(for Redis)是华为云自研的PB级NoSQL数据库,他采用存算分离架构,与内部的分布式存储系统DFV深度结合,是市面上款也是款存算分离的Redis,也是一款真正的云原生数据库。本次分享,将从Redis的爱恨讲起,深入存算分离架构,给大家带来数据库设计的新思路。
就职于华为云数据库团队,曾经在VMware虚拟网络、阿里云数据库、滴滴基础架构工作过,长期从事底层系统的研发和设计。
FastCFS是一款通用的开源分布式文件系统,由FastDFS作者余庆在2020年底推出的,在保证数据强一致性的前提下,做到了高性能和高可用,可以作为数据库、K8s和KVM等虚拟机的后端存储。FastCFS采用原生的数据复制机制来保证数据一致性,相比RAFT协议更加简洁高效。分布式系统在保证数据一致性的同时做到高性能和高可用,其挑战非常大,FastCFS是如何做到的呢?这是需要精心设计和实现的系统工程,敬请期待FastCFS作者的干货分享。
分布式文件系统 FastDFS 作者,曾任职于新浪、雅虎中国和阿里巴巴,对分布式架构和高性能编程有着深入的研究和丰富的实践经验。作为自由职业者,目前正在进行下一代分布式存储系统 FastCFS 的研发和推广工作。
随着京东业务的不断发展,京东的数据量级逐步增长,京东大数据存储平台作为底层的支撑平台,单体集群规模一步步由百台演化数万规模, 经历了单集群破万、跨机房存储、异构存储、分层存储等技术挑战。此次分享主要涵盖在面对业务多元化发展,异地多机房的背景下,京东大数据平台结合原先的技术积累,通过自研实现京东跨域存储,落地实现了数据路由、跨域数据能力和高密度存储管理,同时结合业务特点对各个存储访问进行优化,终达到跨域与降本增效的目的。
京东零售大数据存储架构师。从 2017 年加入京东以来,一直从事大数据存储相关的研发工作,涉猎 HDFS/OZone/Alluxio 等分布式存储系统,是 HDFS/OZone 项目的 Contributor。