随着各行业的数字化转型加速,存储市场的需求不断增长。从数据中心到云计算,从大数据到人工智能,存储技术都在发挥着重要作用。企业和组织面临着海量数据的存储和管理挑战,人们对传输速度、安全隐私性的需求,集中式存储弊端更加显现。
传统的存储面临风险凸显:
一、数据量快速增长,存储需求难以满足实际业务需求?
二、传统的存储成本增加过高;
三、智能化程度不够,资源灵活匹配度不高;
四、数据存储增加,维护成本也随之水涨船高。
面对集中式、分布式和共享存储多种技术的选型,企业如何根据自己的业务实际需求选择适合自己的存储方式?集中存储管理难度小,但可扩展性不够,分布式存储管理灵活,伴随着多副本与数据一致性问题,共享存储面临资源分配与合理调度等问题。
由 ITPUB 社区发起的“存储技术应用与创新”技术沙龙活动,将邀请企业相关存储技术专家进行相关的主题分享和讨论,以便促进行业对存储技术的探索和交流。
主题1:HDFS在58的优化与实践
主题介绍:分布式存储作为大规模数据存储方面常见的解决方案,其在可靠性、性能、可舒缩性等很多方面上都具有一定的优势。分布式文件存储系统HDFS在58同城扮演着重要的角色,整体规模近万台,服务与公司各个业务方向,期间遇到了很多困难和挑战,经过不断的优化和解决难题,为公司提供了一套安全可靠的存储服务。 本次分享从多个维度介绍下分布式存储系统HDFS在58同城的具体实践,和大家一起探讨下相关的优化建设和问题解决之道。
分享大纲:
存储技术架构演进
58HDFS集群架构
58HDFS挑战与实践
总结&未来规划
演讲人:李营-58同城数据架构部大数据存储方向负责人
主题2::B站 KV 优化实践
演讲人:林堂辉--哔哩哔哩kv存储负责人
演讲介绍:
性能优化: 读写性能提升与compaction写放大优化
可用性优化: 多活容灾提升可用性
数据可靠性优化: 备份与InPoint restore保障数据安全
成本优化: witness 降低空间成本