化解企业级SSD应用阻力
- 来源:计算机世界 smarty:if $article.tag?>
- 关键字: smarty:/if?>
- 发布时间:2009-09-01 10:30
SSD(Solid State Disk,固态硬盘)早以被冠以革命者的美誉,其特别之处在于没有机械结构,数据储存在芯片里,以区块写入和抹除的方式进行读写功能,因此在读写效率上,SSD比传统机械式硬盘有了革命性地提升。SSD的“性格分明”,优缺点都显而易见,它的最大卖点是可以在紧张的I/O处理过程中加快数据传输的速度,因此,它已经逐渐涉足于企业级应用,越来越多的厂商开始在SSD上储备技术与产品,EMC、IBM、HP、NetApp、Dell、H3C、华为赛门铁克等厂商都竞相将SSD技术推广到企业级存储中,唯恐落下步伐。本期产品主题,将从用户需求、厂商布局、产品展示等角度全方位探讨SSD企业级应用现状。
虽然有众多厂商的追捧,目前企业级SSD应用的推行速度远没有期待的那样快,用户的热情显然还没有被撩拨起来,敢于尝鲜者寥寥。是哪些因素,成为了阻力,而这些阻力,真有那么巨大吗?
2009年3月,辽宁移动的9块146G SSD(Solid State Disk,固态硬盘)到货,正式成为国内为数不多的固态硬盘用户之一,辽宁移动的客户发现,手机话费详单查询的时间缩短了很多,刚刚结束的通话,就能在互联网或辽宁移动的查询机上查到话费记录。而后面的功臣就是SSD。
辽宁移动是目前在企业级存储中采用SSD的企业级用户之一,第一批吃螃蟹的人还有百度,不过它只是把服务器的硬盘进行改良,插入了SSD以提高检索业务,而并非采用专业的SSD磁盘阵列。经过测试,固态硬盘的性能是传统光纤通道硬盘的30倍,30个15000转/分钟的光纤通道磁盘才能达到单一固态硬盘同样的性能。相比个人用户对SSD的接受程度来说,在企业级用户中,SSD似乎还只是一道不乏卖相的美宴,欣赏者多、动箸者稀。企业级高容量固态硬盘的开发也并没有想象那么简单,特别是在控制器端,写入寿命、无故障时间、稳定的IOPS等都对企业级固态存储提出了更高的要求。
影响用户购买SSD的原因主要体现在五个方面。
价格及容量:因其研发成本、技术含量等问题, SSD的价格与传统硬盘相比大概是10:1的比例,在企业级SSD中,这一比例更高,这是因为除了介质成本外,还有维护成本、软件成本和部件整体融合成本。虽然SSD的价格正呈逐年下降趋势,但从目前的价格水平看,仍高出传统硬盘数倍。
但是,对于价格的质疑也有来自另一个角度的看法,那就是,使用正确的方法,把SSD用在正确的位置,用户的整体拥有成本并不会因SSD的价格而抬升。一般企业级用户构建的数据库应用往往需要很高的IOPS(每秒I/O操作频度),用户因为需要追求良好的读写速度,常常需要采购更多的传统磁盘来达到所需要的性能,造成传统磁盘的利用率并不高;而在使用SSD时,可以在一块SSD盘上达到所要求的数千IOPS。辽宁移动业务支撑中心系统维护建设室主任王欣介绍说,如果不采用固态硬盘,而是按传统的方式提高盘阵性能,需要购买更多的光纤通道磁盘,还要使用RAID 0+1的方式,能否达到固态硬盘这样的性能还不一定。
从某种程度上来讲,存储容量也是困扰固态硬盘发展的一大难题。如今传统机械式硬盘凭借最新的垂直记录技术已经向TB级别迈进,而固态硬盘的容量普遍还停留在256GB左右(目前EMC提供的SSD已经达到400GB),这也是由于SSD成本一直居高不下,因此很少有厂商涉及这种高容量的SSD产品的研发。
寿命及可靠性:SSD固态硬盘采用NAND型闪存芯片作为存储介质,而NAND闪存并不像DRAM内存颗粒一样拥有无限的寿命,受可擦写次数的限制,目前,SSD单个芯片的寿命不如磁盘介质, MLC固态硬盘的可写入次数为2000~10000次,SLC固态硬盘的可写入次数是MLC的10倍左右,一旦某个存储单元的写入次数接近极限值,就很可能遭遇彻底的物理损坏。“SSD往往应用在关键核心业务上,我们不敢让这部分数据有任何闪失,这影响了SSD的安全性,因此我们还在犹豫是不是要采用SSD。”某银行信息处的负责人告诉记者。
但是,各存储方案提供商已经采用了很多技术来提高SSD硬盘的安全性,使其平均无故障时间MTBF与传统的磁盘相当。从磁盘阵列的角度来看,SSD硬盘的安全性可以从两方面来保障,第一是在部件层面,一块良好的SSD已经内置数据冗余和纠错,内部预留了一下存储单元,在有数据块损坏时自动进行替换,用户感知不到,SSD盘厂家提供的数据中,频繁读写应用时都可以使用5年;第二是在系统层面,磁盘阵列的RAID机制、热备盘、快照、复制等技术,都可以用来保障SSD硬盘的数据安全性。例如,Wear Leveling 是有效提升 SSD MTBF (Mean Time Between Failures)的一种技术手段,达到均匀磨损、换位写入等目的。Wear Leveling 的基本思想就是避免不停地对某些晶体的擦写,利用算法保持所有的可擦写单位的次数是近似均匀的,这样就把写次数均匀地分散到各个晶体上。另外,由于SSD的使用寿命主要取决于写入次数,而与读取次数关系不大,因此,那些以“一次存取,多次查询”为主的应用形式(如搜索引擎、数据仓库)避免了SSD写寿命的尴尬。
功耗:当看到这一点时,也许人们会感到困惑,按理说,功耗足以称得上是SSD的得分项,SSD固态硬盘因为没有机械马达和风扇,闪存芯片发热量小、散热快,因此工作时非常安静,没有任何噪音产生。那么这里为何还列出功耗?
因为有用户提出质疑,如果以传统的按照W/TB来计算的电量统计,SSD并不占优势,例如,一块7.2Krpm的1TB SATA硬盘的功率是9.2W,一块15Krpm的300GB的功率是18W左右,而一块64GB的SSD硬盘的功率是2W。如果按相同容量耗电量来看,SSD显然并不占绝对优势。
但采用SSD之后,有一个统计方法是W/IO,以IOPs计算(每秒钟输入/输出运行数)能耗节省高达98%,SSD硬盘的优势就非常明显了。
软件兼容性:要最大程度地发挥固态存储技术的优势,需要通过各种软件、管理和系统功能来发挖掘其潜能。并不是任意一块SSD硬盘都可以随意插入企业级盘阵进行应用的,这跟存储软件有很大关联,因为在中高级的系统里面,磁盘和控制器里面都有一些特别的微码来支持整个系统的运行,服务器操作系统相对开放,而存储系统相对封闭,所以不是说客户能自己去更换盘片的。
软件兼容性还表现在,软件必须能够识别SSD,以把最容易出现I/O瓶颈的应用放在相应的SSD上,由于成本原因,客户不可能大量购买SSD硬盘,那么怎么去发挥它的作用,就成了一个需要解决的问题。可能10%都不到的数据是享受到高速的空间,但是这10%的数据可能利用率很低,就是说他花很多钱在上面结果没有好的效果。这时就需要配合一些软件来找到数据热点。
在操作系统一级,大多数传统的文件系统不具备存储分层的概念。而将元数据迁移到SSD层会带来很大好处,同时或者可以进一步优化不完全基于传统顺序存取的I/O,操作系统分页和内容高速缓存服务也可以采用SSD固态硬盘技术来改善延迟和减少能耗。
不少用户存在顾虑,花大价钱买的SSD存储是真能派上用场,还是“小姐身子丫鬟命”,由于软件问题而使其功能被抹杀。值得欣慰的是,目前像EMC、IBM、HP等前面提到的主流厂商都具备独到的支撑SSD技术的软件,足以打消用户的顾虑。
找准需求:价格也好,寿命也罢,如果用户有了迫切的需求,就会表现出“不差钱”的豪迈。“卖的不怕费吆喝,就怕买的没心要。”某存储厂商通俗地比喻。“对厂商来说,企业级市场里最难的是帮助用户寻找适于SSD展拳脚的应用瓶颈。”目前很多用户对自身的应用和SSD的契合度并无把握,不了解SSD硬盘能否适用于自己;而往往那些适合SSD应用场景的业务,又恰好是用户不敢随便“动”的核心业务,要尝试SSD很需下番决心。
辽宁移动决定采用SSD技术缩短详单查询时间,其实也是经过深思熟虑的,辽宁移动业务支撑中心系统维护建设室主任王欣是本次技术改选的主要负责人,深谙数据库性能的他发现,详单的瓶颈出在通话记录从交换机入库到CRM系统的过程中。在业务高峰时,话单产生的速度远大于入库的速度,从而造成话单积压,延时也达到了令人无法忍受的程度。将详单入库的相关索引文件迁移到固态硬盘上后,王欣测试出,系统的读写速度提高了3-4倍,吞吐量提高了10倍左右,总算解决了这一困扰已久的难题。
目前,辽宁移动在全省14个地市分公司、56个县级分公司拥有超过1500万用户,每月的话单记录在30亿条左右,当月索引数据的大小为400GB。9块146G固态硬盘采用“7+1+1”的方式部署,一块盘做热备盘,其它8个盘采用RAID5“7+1”的方式配置,只将当月的索引放在固态硬盘上,往期数据仍然放在光纤通道磁盘上。SSD技术在电信行业有很大的发展空间,以中国移动为例,各个省公司都会有一些热点数据,导致系统瓶颈,用少量固态硬盘就可以解决热点数据的瓶颈问题,投资很值得。
这就是一个典型的SSD对阵下药的案例。
最初,SSD的应用领域局限于军用系统、高性能计算等场合,目前,从行业来看,支持SSD的磁盘阵列主要在高性能计算领域和高并发IO领域存在大量的需求,例如石油勘探、气象分析、生物医学等都属于高性能计算领域,而大型企业ERP应用、大型网站的热点资源(Cache层)则对高并发I/O的处理需求迫切。在这两个领域中,有较大部分是数据库应用,其特点是小数据块随机读写,且一般写比例比读少,而对响应时间和IOPS要求很高,存储容量一般不大。许多商业数据库经常发生对元数据(日志,索引)非常频繁的访问,这些访问可能构成了大约70%的I/O传输工作量,但是只有10%的数据,其余较低访问数据的I/O实际占据了90%的磁盘容量。如果实际应用正是如上所述的模式和容量比,那通过将一小部分数据集中在SSD固态硬盘上会明显提高应用的性能,而这些只需在其磁盘容量的一小部分中调整较高的SSD成本。
但并非所以应用都适合SSD,比如说高清晰电视或者节目制作的存储,由于每一个文件都很大,每一个都会有持续性地写操作,除了容量要求非常高,不知道那段应该放在SSD上外,频繁地写操作也不适合于SSD。
另外,云计算也给SSD带来了机遇,就云计算而言,计算和存储能力主要依靠的是整体架构,而不依赖于单个设备或者硬盘。从现在来看,将SSD硬盘做为Cache层,用于提供快速的检索和查询,会是一种可行的应用模式。
……
虽然有众多厂商的追捧,目前企业级SSD应用的推行速度远没有期待的那样快,用户的热情显然还没有被撩拨起来,敢于尝鲜者寥寥。是哪些因素,成为了阻力,而这些阻力,真有那么巨大吗?
2009年3月,辽宁移动的9块146G SSD(Solid State Disk,固态硬盘)到货,正式成为国内为数不多的固态硬盘用户之一,辽宁移动的客户发现,手机话费详单查询的时间缩短了很多,刚刚结束的通话,就能在互联网或辽宁移动的查询机上查到话费记录。而后面的功臣就是SSD。
辽宁移动是目前在企业级存储中采用SSD的企业级用户之一,第一批吃螃蟹的人还有百度,不过它只是把服务器的硬盘进行改良,插入了SSD以提高检索业务,而并非采用专业的SSD磁盘阵列。经过测试,固态硬盘的性能是传统光纤通道硬盘的30倍,30个15000转/分钟的光纤通道磁盘才能达到单一固态硬盘同样的性能。相比个人用户对SSD的接受程度来说,在企业级用户中,SSD似乎还只是一道不乏卖相的美宴,欣赏者多、动箸者稀。企业级高容量固态硬盘的开发也并没有想象那么简单,特别是在控制器端,写入寿命、无故障时间、稳定的IOPS等都对企业级固态存储提出了更高的要求。
影响用户购买SSD的原因主要体现在五个方面。
价格及容量:因其研发成本、技术含量等问题, SSD的价格与传统硬盘相比大概是10:1的比例,在企业级SSD中,这一比例更高,这是因为除了介质成本外,还有维护成本、软件成本和部件整体融合成本。虽然SSD的价格正呈逐年下降趋势,但从目前的价格水平看,仍高出传统硬盘数倍。
但是,对于价格的质疑也有来自另一个角度的看法,那就是,使用正确的方法,把SSD用在正确的位置,用户的整体拥有成本并不会因SSD的价格而抬升。一般企业级用户构建的数据库应用往往需要很高的IOPS(每秒I/O操作频度),用户因为需要追求良好的读写速度,常常需要采购更多的传统磁盘来达到所需要的性能,造成传统磁盘的利用率并不高;而在使用SSD时,可以在一块SSD盘上达到所要求的数千IOPS。辽宁移动业务支撑中心系统维护建设室主任王欣介绍说,如果不采用固态硬盘,而是按传统的方式提高盘阵性能,需要购买更多的光纤通道磁盘,还要使用RAID 0+1的方式,能否达到固态硬盘这样的性能还不一定。
从某种程度上来讲,存储容量也是困扰固态硬盘发展的一大难题。如今传统机械式硬盘凭借最新的垂直记录技术已经向TB级别迈进,而固态硬盘的容量普遍还停留在256GB左右(目前EMC提供的SSD已经达到400GB),这也是由于SSD成本一直居高不下,因此很少有厂商涉及这种高容量的SSD产品的研发。
寿命及可靠性:SSD固态硬盘采用NAND型闪存芯片作为存储介质,而NAND闪存并不像DRAM内存颗粒一样拥有无限的寿命,受可擦写次数的限制,目前,SSD单个芯片的寿命不如磁盘介质, MLC固态硬盘的可写入次数为2000~10000次,SLC固态硬盘的可写入次数是MLC的10倍左右,一旦某个存储单元的写入次数接近极限值,就很可能遭遇彻底的物理损坏。“SSD往往应用在关键核心业务上,我们不敢让这部分数据有任何闪失,这影响了SSD的安全性,因此我们还在犹豫是不是要采用SSD。”某银行信息处的负责人告诉记者。
但是,各存储方案提供商已经采用了很多技术来提高SSD硬盘的安全性,使其平均无故障时间MTBF与传统的磁盘相当。从磁盘阵列的角度来看,SSD硬盘的安全性可以从两方面来保障,第一是在部件层面,一块良好的SSD已经内置数据冗余和纠错,内部预留了一下存储单元,在有数据块损坏时自动进行替换,用户感知不到,SSD盘厂家提供的数据中,频繁读写应用时都可以使用5年;第二是在系统层面,磁盘阵列的RAID机制、热备盘、快照、复制等技术,都可以用来保障SSD硬盘的数据安全性。例如,Wear Leveling 是有效提升 SSD MTBF (Mean Time Between Failures)的一种技术手段,达到均匀磨损、换位写入等目的。Wear Leveling 的基本思想就是避免不停地对某些晶体的擦写,利用算法保持所有的可擦写单位的次数是近似均匀的,这样就把写次数均匀地分散到各个晶体上。另外,由于SSD的使用寿命主要取决于写入次数,而与读取次数关系不大,因此,那些以“一次存取,多次查询”为主的应用形式(如搜索引擎、数据仓库)避免了SSD写寿命的尴尬。
功耗:当看到这一点时,也许人们会感到困惑,按理说,功耗足以称得上是SSD的得分项,SSD固态硬盘因为没有机械马达和风扇,闪存芯片发热量小、散热快,因此工作时非常安静,没有任何噪音产生。那么这里为何还列出功耗?
因为有用户提出质疑,如果以传统的按照W/TB来计算的电量统计,SSD并不占优势,例如,一块7.2Krpm的1TB SATA硬盘的功率是9.2W,一块15Krpm的300GB的功率是18W左右,而一块64GB的SSD硬盘的功率是2W。如果按相同容量耗电量来看,SSD显然并不占绝对优势。
但采用SSD之后,有一个统计方法是W/IO,以IOPs计算(每秒钟输入/输出运行数)能耗节省高达98%,SSD硬盘的优势就非常明显了。
软件兼容性:要最大程度地发挥固态存储技术的优势,需要通过各种软件、管理和系统功能来发挖掘其潜能。并不是任意一块SSD硬盘都可以随意插入企业级盘阵进行应用的,这跟存储软件有很大关联,因为在中高级的系统里面,磁盘和控制器里面都有一些特别的微码来支持整个系统的运行,服务器操作系统相对开放,而存储系统相对封闭,所以不是说客户能自己去更换盘片的。
软件兼容性还表现在,软件必须能够识别SSD,以把最容易出现I/O瓶颈的应用放在相应的SSD上,由于成本原因,客户不可能大量购买SSD硬盘,那么怎么去发挥它的作用,就成了一个需要解决的问题。可能10%都不到的数据是享受到高速的空间,但是这10%的数据可能利用率很低,就是说他花很多钱在上面结果没有好的效果。这时就需要配合一些软件来找到数据热点。
在操作系统一级,大多数传统的文件系统不具备存储分层的概念。而将元数据迁移到SSD层会带来很大好处,同时或者可以进一步优化不完全基于传统顺序存取的I/O,操作系统分页和内容高速缓存服务也可以采用SSD固态硬盘技术来改善延迟和减少能耗。
不少用户存在顾虑,花大价钱买的SSD存储是真能派上用场,还是“小姐身子丫鬟命”,由于软件问题而使其功能被抹杀。值得欣慰的是,目前像EMC、IBM、HP等前面提到的主流厂商都具备独到的支撑SSD技术的软件,足以打消用户的顾虑。
找准需求:价格也好,寿命也罢,如果用户有了迫切的需求,就会表现出“不差钱”的豪迈。“卖的不怕费吆喝,就怕买的没心要。”某存储厂商通俗地比喻。“对厂商来说,企业级市场里最难的是帮助用户寻找适于SSD展拳脚的应用瓶颈。”目前很多用户对自身的应用和SSD的契合度并无把握,不了解SSD硬盘能否适用于自己;而往往那些适合SSD应用场景的业务,又恰好是用户不敢随便“动”的核心业务,要尝试SSD很需下番决心。
辽宁移动决定采用SSD技术缩短详单查询时间,其实也是经过深思熟虑的,辽宁移动业务支撑中心系统维护建设室主任王欣是本次技术改选的主要负责人,深谙数据库性能的他发现,详单的瓶颈出在通话记录从交换机入库到CRM系统的过程中。在业务高峰时,话单产生的速度远大于入库的速度,从而造成话单积压,延时也达到了令人无法忍受的程度。将详单入库的相关索引文件迁移到固态硬盘上后,王欣测试出,系统的读写速度提高了3-4倍,吞吐量提高了10倍左右,总算解决了这一困扰已久的难题。
目前,辽宁移动在全省14个地市分公司、56个县级分公司拥有超过1500万用户,每月的话单记录在30亿条左右,当月索引数据的大小为400GB。9块146G固态硬盘采用“7+1+1”的方式部署,一块盘做热备盘,其它8个盘采用RAID5“7+1”的方式配置,只将当月的索引放在固态硬盘上,往期数据仍然放在光纤通道磁盘上。SSD技术在电信行业有很大的发展空间,以中国移动为例,各个省公司都会有一些热点数据,导致系统瓶颈,用少量固态硬盘就可以解决热点数据的瓶颈问题,投资很值得。
这就是一个典型的SSD对阵下药的案例。
最初,SSD的应用领域局限于军用系统、高性能计算等场合,目前,从行业来看,支持SSD的磁盘阵列主要在高性能计算领域和高并发IO领域存在大量的需求,例如石油勘探、气象分析、生物医学等都属于高性能计算领域,而大型企业ERP应用、大型网站的热点资源(Cache层)则对高并发I/O的处理需求迫切。在这两个领域中,有较大部分是数据库应用,其特点是小数据块随机读写,且一般写比例比读少,而对响应时间和IOPS要求很高,存储容量一般不大。许多商业数据库经常发生对元数据(日志,索引)非常频繁的访问,这些访问可能构成了大约70%的I/O传输工作量,但是只有10%的数据,其余较低访问数据的I/O实际占据了90%的磁盘容量。如果实际应用正是如上所述的模式和容量比,那通过将一小部分数据集中在SSD固态硬盘上会明显提高应用的性能,而这些只需在其磁盘容量的一小部分中调整较高的SSD成本。
但并非所以应用都适合SSD,比如说高清晰电视或者节目制作的存储,由于每一个文件都很大,每一个都会有持续性地写操作,除了容量要求非常高,不知道那段应该放在SSD上外,频繁地写操作也不适合于SSD。
另外,云计算也给SSD带来了机遇,就云计算而言,计算和存储能力主要依靠的是整体架构,而不依赖于单个设备或者硬盘。从现在来看,将SSD硬盘做为Cache层,用于提供快速的检索和查询,会是一种可行的应用模式。
