什么样的数据架构才能满足ZB时代数据存储需求?

什么样的数据架构才能满足ZB时代数据存储需求?

来源:服务器租用 作者:美国服务器 浏览量:199
2019-09-27
0

2019年的存储市场遇到了需求趋缓、价格下跌、库存积压等不利因素的影响,但并没有影响存储市场需求的不断增长和产品技术的不断提升。在不久前于深圳举办的闪存市场峰会(CFMS 2019)上,西部数据公司高级副总裁兼中国区总经理Steven Craig在大会上进行了“ZB时代的数据存储核心架构–机遇、挑战和阶段”的主题演讲,在演讲中Steven也对存储市场的前景表示乐观,他认为,NAND闪存市场将会在年底重拾上行之势。

  图1:西部数据公司高级副总裁兼中国区总经理Steven Craig认为NAND闪存将会重拾上行之势。

  存储技术赶不上数据产生速度

  做出这个判断的原因是,他看到现在的数据产生量在不断攀升中,2018年约产生了32ZB的数据,ZB是个什么概念呢?我们现在的手机存储容量一般是64GB,1ZB=1024EB=1024×1024PB=1024×1024×1024TB=1024×1024×1024×1024GB,即1040GB,约1万亿GB。这是一个超级庞大的数字,“到2023年,预计会产生103ZB的数据。” Steven Craig进一步指出。这些数据主要来源于末端的边缘数据、在边缘进行整合后的数据,以及在云端经过了处理和转换的智能信息。

  在Steven Craig看来,这些看似庞大的数据其实只有小部分会被存储下来,比如说2018年的数据存储量是5ZB左右,占产生数据的15%;预计到2023年,存储下来的数据为12ZB左右,占产生数据的11%,其他的数据将会失散掉,而且将永远也不可能找回来了。

  存下来的数据如此少,是有原因的,其中一个重要原因就是我们的存储技术和设备没有赶上数据增长的新趋势。因此,Steven Craig指出,“我们必须转变我们的思维模式,为未来更大规模的数据存储做准备,准备好相关的技术。”

  图2:2018年产生的数据为32ZB,存储的数据量为5ZB;预计2023年将会产生103ZB的数据。

  主流3D NAND闪存已达96层仍不够用,QLC崛起

  随着数据量的迅速增大,主流存储技术也在迅速向前推进中。3D NAND闪存从2014年的24层,到2016年的48层,到2017年的64层,再到2018年的96层,以及明年的1XX层,技术更新速度越来越快。

  图3:NAND闪存技术的快速发展。

  不过,Steven Craig在主题演讲中也提到,单纯地增加层数,看似简单,但实际上并没有帮助生产企业降低成本,而是增加了更多的成本,而且有可能会出现错误。增加层数,意味着需要制造更多的晶圆,从而导致成本上升,他拿48层扩展到64层举例说,当时的成本大概是8000美元每平方米。“当然,我们可以通过规模化生产来降低成本。” Steven Craig指出。

  目前,扩大闪存的容量主要有三种方法:一是增加存储孔密度;二是增加存储单元密度;三是通过逻辑扩展增加比特密度。

  图4:增加闪存容量的三种维度。

  三种维度增加容量的效果各不相同,“从64层扩展到96层时,存储孔密度大概增加了10%;存储单元密度增加了68%;TLC比特密度增加了65%。综合这三种方法就可以看到整个闪存容量的增长了。” Steven Craig在演讲中表示。

  逻辑扩展中,目前主流的技术是TLC,不过下一代将会是QLC,QLC可以实现每个存储单元4比特的数据,他预计到2025年,整个QLC的市场占有率会增加到50%,这包括企业级、消费级和移动类的闪存应用。

  图5:QLC与TLC增加的比特密度对比。

  虽然QLC具有可扩展、成本/TCO效益和极佳的访问和读取性能等优点,未来可能会迅速崛起,但是不是会一帆风顺地接班TLC呢?那也未必,因为目前QLC也面临着一些关键的挑战,比如说写入限制。

  面临写入限制挑战的不止有QLC,还有叠瓦式磁记录(SMR),该技术在制造工艺方面的变动非常微小,亚洲服务器租用,但却可以大幅提高磁盘存储密度。SMR盘将盘片上的数据磁道部分重叠,就像屋顶上的瓦片一样。

  尽管SMR盘的读行为和普通磁盘相同,但它的写行为有了巨大的变化:不再支持随机写和原地更新写。这是由于SMR盘上新写入的磁道会覆盖与之重叠的所有磁道,从而摧毁其上的数据。换言之,相较传统磁盘而言,SMR盘不再支持随机写,只能进行顺序追加写。写入方式的限制给欲使用SMR盘的存储系统带来了巨大的挑战。

  分区存储解决高容量存储盘的写入限制挑战

部分文章来源与网络,若有侵权请联系站长删除!