扫码阅读
手机扫码阅读

存储系统的压缩和重删技术成熟?OLTP核心数据库场景下,到底能不能开启?

31 2025-04-02

我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。

查看原文:存储系统的压缩和重删技术成熟?OLTP核心数据库场景下,到底能不能开启?
文章来源:
3分钟数据和存储课堂
扫码关注公众号

当前全闪存存储系统普遍支持重删和压缩技术,这使得存储空间的利用率显著提升。开启这些技术后,存储容量可以是物理空间的4倍或更多。云存储服务提供商利用这一技术能以低成本销售大量存储空间。

尽管重删和压缩技术提高了存储效率,但在IT项目中,客户常因担忧数据损坏而犹豫是否采用,特别是在OLTP等核心交易系统中。

数据压缩是基于LZ77和LZ78算法,这些无损压缩算法不会破坏数据,保证数据解压后内容不变。存储系统使用的无损压缩技术是经过验证的,因此数据安全得到保证。压缩比取决于原始数据格式和存储厂商的算法,一般数据可以达到2:1的压缩效率,但已压缩的文件如MP3、MP4可能无法进一步压缩。

压缩过程需要大量计算资源,可能对存储性能产生影响。为了减轻这种影响,高端存储系统可能采用独立的压缩芯片,如FPGA或ASIC,以提升压缩效率并减少对存储控制器的负担。然而,这也增加了存储控制器的制造难度和成本。

重删技术通过比对存储中的数据块(Block)来节省空间,它在底层进行,不改变上层文件系统的逻辑。存储系统通过计算每个Block的哈希值来检测重复数据块,尽管存在哈希碰撞的可能性,但其概率极低,因此实际上不会影响数据的安全性。

综上所述,压缩技术在不影响存储性能的前提下,是值得信赖且可以放心使用的。重删技术在大多数场景下也是安全的,除非是对数据安全有极高要求的领域,如银行、证券、基金等,出于谨慎考虑,可能会选择不使用重删和压缩技术。

最后的建议是,对于不缺钱且对数据安全有极高要求的行业,避免使用重删和压缩技术,即使它们在技术上是可靠的。

想要了解更多内容?

查看原文:存储系统的压缩和重删技术成熟?OLTP核心数据库场景下,到底能不能开启?
文章来源:
3分钟数据和存储课堂
扫码关注公众号

分享自己在IT领域的见闻和认知,人在深圳,欢迎来撩。

53 篇文章
浏览 6766
加入社区微信群
与行业大咖零距离交流学习
PMO实践白皮书
白皮书上线