您现在的位置:首页 >关于我们 >行业新闻 >主存储数据:应对数据爆炸的第一绝招!

主存储数据:应对数据爆炸的第一绝招!

时间:2010年12月7日
    主存储数据缩减方法,如重复数据删除和压缩,在2010年中期,当戴尔和IBM公司在数据缩减领域收购很多公司的时候,得到了业内的鼓励和提倡。但这两家公司在这个领域并不是唯一的开发者,还有很多主要的存储厂商也正在主存储领域方面开发新的产品,这些产品将对未来有更大的影响。

  “一年前如果你问我,我会说主存储优化的前景还不明确。现在,情况有了很大的不同。我们周围的重复数据删除,内容优化和压缩技术都有了明显的不同,”马萨诸塞州的Taneja Group高级分析师Jeff Boles说,“主存储优化在文件空间领域已成为了一个复选框(checkbox)项目。当它走到了block存储的时候,基本就达到了我们的预期。” (服务器托管)

重复数据删除,蔓延到主存储

  虽然主存储数据缩减方法变得很有趣,但它仍然是依靠早期的重复数据删除和数据压缩技术,而且也没说多长时间可以完全解决。

  NetApp公司2007年在其FAS和NearStore中加入的重复数据删除技术, 如今已经是备份领域中的一种成熟技术。 NetApp推出的是基于容量的,后处理重复数据删除(post-process deduplication),能够有效的消除在VMware虚拟环境的虚拟机操作系统中的冗余数据。 NetApp公司还计划加入压缩,并为重复数据删除增加16TB的容量限制。

  它的竞争对手EMC公司两年前在主存储上使用文件级重复数据删除和压缩,是基于一个文件系统的基础上,在它的EMC Celerra NS系列系统上作为一种操作系统的免费特性。八月份的时候,EMC公司在它的Clariion CX4和Celerra NS线上把数据缩减扩展到基于block的数据上,同时引入了LUN压缩。

  除了NetApp和EMC,厂商在主存储数据缩减领域的探索大多都是刚开始,直到七月,戴尔购买了Ocarina Networks公司。Ocarina公司的主存储数据缩减设备结合了重复数据删除和复杂的内容识别压缩算法,一直应用在嵌入式重复数据删除产品内,并计划通过OEM来销售给存储供应商。

  在Dell-Ocarina发表声明的十天后,IBM也宣布了购买Storwize公司的计划,Storwize公司也出售实时数据压缩设备,并且也主要通过OEM形式交易。

  在数据缩减领域的其他厂商还包括Compellent的存储技术公司(该公司计划明年增加重复数据删除),GreenBytes公司, Nexenta系统公司 和甲骨文(以Sun的ZFS文件系统为基础的重复数据删除)。

  位于康涅狄格州斯坦福的Gartner公司研究副总裁David Russell表示,重复数据删除大约需要五年时间才赶上备份空间,但预计主存储重复数据删除和压缩的时间会比较短。 无论是重复数据删除和/或数据压缩在任何情况下都会很有意义。

  “虽然公平的说,这是一个不断发展的,新生的市场,但针对主存储的数据肯定是越来越少的”Russell说。

  戴尔和IBM公司在主存储数据缩减领域的探索可以在未来几年看到一个深入的路线图。但技术如何有效的帮助IT部门解决爆炸性的数据增长仍然是一个悬而未决的问题。

  然而,The INI Group LLC的创始人和集团有限责任公司的高级分析师Tony Asaro预测, 主存储重复数据删除是“在未来几年必然发展的”,并且“客户已经开始要求它,”的一项技术,不过他同时也指出,目前客户在做重要存储决定时,主存储重复数据删除还不是优先考虑的项目。

  “如果性能对你来说是非常重要的,你很可能会想把它作为一个后处理程序(post-process);如果实时管理能力对你是最重要的事,那么你很可能会希望它是联机的,” 他补充说:“摩尔定律使得近年来服务器CPU性能大幅提升,这确实使重复数据删除更可行。因为[重复数据删除]是CPU密集型的计算,特别是联机应用时。因此,你需要更快的处理器,让他们的速度越来越快。”

标准化是白日梦吗?

  戴尔和惠普最终设想的这种端到端的能力,在系统之间传递或删除重复数据,压缩,将被限制在他们的专利环境,除非有一个互操作性标准。

  不同厂商的重复数据删除和压缩技术像雪花一样,没有两个是一模一样的。 一些操作内嵌或实时,其他是后处理(post-process.)。 一些运行在固定大小的数据块内,其他运行在可以快换大小的块内,有些比其他获得更多的颗粒。 一些使用复杂的哈希算法来找出相同的数据,有些则用简单的算法。 有些让用户定义的重复数据删除的范围;有些把重复数据删除限制在一个特定的存储卷或文件系统。

  “如果我是一个用户,我会问,'既然他们做的都是同样的事,为什么我必须处理无穷的重复数据删除和压缩算法?” NetApp存储效率解决方案一个高级营销经理Larry Freeman说, “问题是,现在,你已经有了一个非常有竞争力的环境,没有人愿意分享,因为这样他们将放弃他们的专利和知识产权。”  (服务器托管)

  Freeman表示,存储网络工业协会(SNIA)会议上的一个话题是重复数据删除的标准化。但“当我们意识到在这点上不会发生时,我们很快就停止讨论了。 ”

  “没有人会坐下来讨论,因为没有人愿意把他们的重复数据删除和别人的做比较,”Freeman继续说到, “没有人愿意说谁的重复数据删除是最好的,谁的是不好的。”

Copyright© 2004-2020 河南海腾电子技术有限公司 版权所有   经营性ICP/ISP证 备案号:B1-20180452   豫公网安备 41019702002018号    电子营业执照