当前,各行各业数字化转型产生的海量数据为企业和传统数据中心带来了各式各样的存储挑战。仅就IoT领域,到2024年,将会有70%的企业需要处理物联网数据,会有380亿物联网在线设备。业务的发展意味着数据的爆炸式增长,基于IDC数据,到2025年,有超过100ZB的存储缺口。机械硬盘成本低廉,但随机性能低下且无法满足高并发需求。新兴的SSD性能优异,但是价格昂贵。容量更高、寿命更优、性能更优的企业级产品一直是各大存储厂商的目标。QLC作为一种容量优化的NAND闪存存储技术,和当前市场主流的TLC相比,可将闪存密度提高33%,又因其成本更低,吸引了各大存储厂商竞相挖掘其潜力。但是QLC需要更高的电气精度来解决在读/写期间管理多个电压状态的额外复杂性,这导致了QLC设备的性能、寿命和可靠性降低。
ScaleFlux的CSD2000 NVMe QLC SSD透明压缩解决方案既能发挥QLC的容量优势,又能最大程度的优化QLC性能和寿命的不足。通过在盘内集成的可计算存储引擎-透明压缩/解压功能,在数据具有较高可压性时,在IO路径上先对数据进行压缩之后再写入NAND闪存介质中,大幅降低了盘内物理空间的使用率,使得盘内空闲空间比标盘相比有显著优势。因此,盘内写放大、垃圾回收GC以及同一个Die中的读写冲突也就相对标盘能大幅降低,从而带来了性能和寿命的大幅提升。ScaleFlux的透明压缩和QLC的结合完美地弥补了QLC在性能,寿命和稳定性方面的短板,突破了其在写入负载方面的局限性。极大地拓展了QLC在数据中心的应用。
腾讯云在2020年开始和ScaleFlux一起探索将透明压缩与QLC NAND介质相结合来解决QLC的随机写入性能和寿命的问题,并于2021年Q2开始了QLC NVMeSSD的在线应用。ScaleFlux的SSD设备通过下推压缩的算子可以帮助腾讯云显著降低闪存的写放大,提升随机写入的性能。
腾讯云NPI负责人陈烽英表示:“我们看到,5G时代已经到来,在IoT、AI、区块链、自动驾驶等新兴技术中,以及在各种云存储、CDN等应用场景中,QLC因其低成本高容量的特性,将会有极大的发展空间。而QLC作为行业热点趋势,不仅驱动了新技术的发展,也带动了更多应用场景上的探索。我们希望通过与ScaleFlux在QLC NVMe SSD方面的合作,将可计算存储技术在存储方案中的独特价值发挥出来。”
ScaleFlux首席科学家张彤教授表示:透明压缩是开启计算存储盘(CSD)商业化的最佳选择,主要有两个原因:(1)透明:存储内透明压缩不需要对现有存储 I/O 软件堆栈进行任何更改,这确保了透明压缩可以无缝集成和部署到现有基础设施中,无需应用程序修改任一代码。(2)无损无负担:除了非常广泛的适用性之外,无损数据压缩涉及大量随机数据访问,这不可避免地会导致非常高的CPU/GPU缓存未命中率,从而使CPU/GPU硬件利用率非常低。因此,缓减主机端CPU/GPU执行无损数据压缩的负担变得极为重要。腾讯云主导的QLC介质和透明压缩的结合将突破QLC在写入负载方面的局限性,为其在数据中心的广泛应用打下基础。
Back