分布式存储软硬件解耦难点分析我们可能都会想到软件定义的存储
作者:叶知秋 来源:C114通信网 发布时间:2022-01-10 05:53
说到分布式存储,我们可能都会想到软件定义的存储代表全球存储制造商的权威协会SNIA为SDS定义了:软件定义存储,包括管理平面的标准接口和自动化以及横向扩展数据平面的数据块,文件和对象存储服务
业内许多分析师和制造商认为SDS并且可以部署在容器,虚拟机和标准裸机服务器上可是,在上述SNIA发布的SDS白皮书中,SNIA并不认同这一观点,而是更关注SDS在管理上的自动化和数据的灵活性
也许我们需要关注21世纪初谷歌提出了分布式存储架构的概念并付诸实践在其强大的技术和维护团队的支持下,实现了在标准服务器上部署自开发的分布式存储软件,构建了大规模的存储集群,以应对其互联网搜索业务带来的海量数据流
所谓一石激起千层浪,其他互联网公司纷纷效仿老大哥谷歌的做法让软硬件脱钩的概念在互联网行业大行其道,并迎来了一大群研究人员对其价值进行分析,总结出以下四个价值:
middot标准x86服务器成本低,
middot将数据中心的硬件统一为标准服务器,实现统一的硬件运维,
middot基础设施作为代码,存储包含在软件定义的数据中心自动化调度框架中,
#61548,用户可以在企业数据中心,边缘或公共云中获得一致的数据服务。
可以说,分布式存储在互联网浪潮中的出现是如此华丽,以至于大家都忘记了存储系统本身应该是什么样子冷静的人更喜欢用辩证思维分析问题,所以我们也看到很多用户对感兴趣,硬件和软件解耦就软硬件解耦的分布式存储而言,在可靠性,性能,操作和维护等方面还有许多需要改进的地方
分布式存储软硬件解耦难点分析。
很难说分布式存储软硬件解耦的难点是什么
middot难度1:可靠性。
存储数千行用户数据资产数据一旦因存储故障而丢失,将给企业带来不可挽回的巨大损失存储的核心组件是硬盘业内有一种说法,SDS就是把不可靠的标准化服务器变成可靠的存储系统这句话背后的技术基础是SDS可以通过跨节点冗余算法容忍服务器节点故障但是这句话真的完全正确吗在实践中,一些用户发现他们使用的标准服务器偶尔会在批量硬盘/固态硬盘卡中出现故障,冗余算法失效,导致数据丢失
通过与软硬件一体化厂商的深入沟通,用户发现一体化存储硬件和标准服务器的质量控制流程有很大不同标准服务器成本低,生产过程的质量控制大多局限于对CPU,内存,硬盘的简单功能测试
middotTOP存储厂商在规划设计新产品时,会严格审核新硬盘供应商的特性,规格和方案,确保新硬盘与存储产品深度兼容。
middot新硬盘上市前,TOP存储厂商会基于大量样盘对系统的兼容性和稳定性进行几个月的测试,以保证一个硬盘在3到5年的生命周期内正常运行。
middot如果硬盘和固件发生批量更改,存储制造商将重新执行上述稳定性测试。
middot一些TOP存储厂商甚至指定了供应商的硬盘生产线。
数据是企业的核心资产,软硬件一体化存储的附加值实际上来自于其背后通常不为人知的故事。
middot两个难点:性能SLA保证。
伴随着企业数字化转型的深入,分布式存储已经从最初的开发测试,桌面云等非关键应用逐渐走向生产ap
软硬件解耦的分布式存储在性能设计上有两个天然的缺陷。
middot标准服务器在机房突然断电时没有电池保护内存数据,所以SD卡/磁盘只能用于数据缓存固态硬盘的延迟远高于内存,导致行业内大多数软硬件解耦的分布式存储的延迟无法与生产存储相比
middot购买的分布式存储软件无法与第三方服务器的SSD磁盘紧密配合,无法像行业内先进的全闪存存储一样实现全局垃圾回收,控制众多SSD磁盘垃圾回收带来的生产和应用延迟波动。
软硬件一体化的分布式存储有机会克服上述两个缺陷我们可以看到,行业内先进的分布式存储产品都采用了类似于全闪存存储和系统级全局垃圾收集的电池保护,在堪比传统生产存储的高并发压力下,实现了1ms的稳定延迟,从而为分布式存储进入企业生产应用提供了性能SLA保障
middot难点3 :运维风险。
软硬件的解耦给用户带来了很大的维护负担,比如几乎不可能实现有效的自动部署和深度检查而且在使用过程中出现问题时,供应商容易推卸责任,软硬件厂商的责任界面不清晰,用户可能成为问题定位的第一责任人
软硬件一体化存储可以提前设计自动化部署技术解决方案,在全生命周期内端到端构建自动化运维能力,从而提高交付,运维效率,降低业务风险。
middot困难4 :长期总拥有成本。每经AI快讯,有投资者在投资者互动平台提问:分布式存储是元宇宙的基础保障,请问公司的分布式统一存储系统是否符合元宇宙底层保障?。
通过软硬件解耦降低采购成本的本质是标准服务器便宜可是,存储的附加值更多的是软件,质量控制和技术支持用户花了很大力气将软硬件进行分离购买并在线部署后,逐渐发现节省下来的钱与后期的DIY投入相比不值一提原因很简单在同样的质量要求下,大规模工业化生产将永远持续下去
远比DIY综合成本低采购成本是显性的,但综合成本不是简单的硬件采购成本,还要考虑使用和维护成本
根据行业场景各取所需,实现鱼和熊掌兼得
对于广大着急踏上数字化转型高速列车的行业用户来说,到底是选择软硬解耦还是专业存储厂家预集成的软硬件一体产品呢在商业的世界里,或许没那么多路线和理念之争软硬件解耦的优势在于采购成本,软硬件一体的长处在于可靠性和性能所以,根据用户场景的数据重要性,选择最合适自己的方案才是明智之道,鱼和熊掌其实可以兼得
middot,软硬件一体已成共识的行业场景:HPC/HPDA,平安城市视频监控/交通卡口,超高清视频制作/媒资库,运营商IPTV等。
middot,更适合用软硬件一体的行业场景:政务云,运营商BOM域云化,5G电信云,金融网银,手机银行,前置系统Web应用,票据影像等,大数据分析以及各行业备份归档系统以中国移动为例,早年大量购买分布式存储软件,搭配集采的标准服务器使用近两年,不管是分布式块还是文件的集采,都已经全面转向软硬件一体模式
middot,可以解耦的行业场景:各行业开发测试,桌面云这部分场景数据的重要性略低于生产场景,IT预算紧张的用户,可以尝试当然,预算足够的用户可以更加稳妥
无论如何波折,分布式存储未来可期
正所谓不管白猫,黑猫,抓到老鼠的就是好猫我们相信在较长一段时间内,分布式存储软硬件一体和软硬件解耦会长期共存总体而言,笔者认为伴随着数据价值的增高,场景对数据可靠性的要求随之会越来越严苛,市场的天平就会更多偏向软硬件一体,与此相反,场景对数据可靠性的敏感度越低,短期成本敏感度越高,市场的天平就会更多的偏向软硬件解耦
。