广告网站建设及推广,怎么制作网站游戏,外贸seo是什么,网页设计与制作教程基础知识版权声明#xff1a; 本文禁止转载机械硬盘的存储系统由于内部结构,其IO访问性能无法进一步提高,CPU与存储器之间的性能差距逐渐扩大。以Nand Flash为存储介质的固态硬盘技术的发展#xff0c;性能瓶颈得到缓解。1. 什么是SSD固态硬盘#xff08;Solid State Drives#xf…版权声明 本文禁止转载机械硬盘的存储系统由于内部结构,其IO访问性能无法进一步提高,CPU与存储器之间的性能差距逐渐扩大。以Nand Flash为存储介质的固态硬盘技术的发展性能瓶颈得到缓解。1. 什么是SSD 固态硬盘Solid State Drives用固态电子存储芯片阵列而制成的硬盘由控制单元和存储单元FLASH芯片、DRAM芯片组成。固态硬盘被广泛使用于军事方面、车载系统方面、工程控制技术方面、视频监控存储、网络监控存储、网络终端保存、电力系统方面、医疗信息存储方面、航空技术方面、导航设备存储等重要领域。2. SSD的存储介质分类 固态硬盘(SSD)的存储介质分为两种一种是采用闪存FLASH芯片作为存储介质另外一种是采用DRAM作为存储介质。 基于闪存类基于闪存的固态硬盘IDEFLASH DISK、Serial ATA Flash Disk采用FLASH芯片作为存储介质这也是通常所说的SSD。它的外观可以被制作成多种模样例如笔记本硬盘、微硬盘、存储卡、U盘等样式。这种SSD固态硬盘最大的优点就是可以移动而且数据保护不受电源控制能适应于各种环境适合于个人用户使用。 基于DRAM类基于DRAM的固态硬盘采用DRAM作为存储介质应用范围较窄。它仿效传统硬盘的设计可被绝大部分操作系统的文件系统工具进行卷设置和管理并提供工业标准的PCI和FC接口用于连接主机或者服务器。应用方式可分为SSD硬盘和SSD硬盘阵列两种。它是一种高性能的存储器而且使用寿命很长美中不足的是需要独立电源来保护数据安全。DRAM固态硬盘属于比较非主流的设备。 基于3D XPoint类在闪存与DRAM之间开创新市场的新一代内存技术 3D XPoint是一种新的非易失性存储技术也就是能像NAND闪存那样断电保持数据但同时又有着极高的速度和性能能够达到DRAM内存级别因此它既能做成硬盘也能做成内存而且单位容量成本介于二者之间堪称梦幻黑科技。3D XPoint的首款产品将是“Optane”傲腾品牌的固态硬盘。只有少数高端系列有 而且已经放弃了3D XPoint技术可惜了这么强大的技术性能秒杀各种NAND SSD最终输给了市场 昙花一现。3. SSD的结构 SSD主要由主控制器芯片闪存芯片缓存芯片可选以及跟HOST接口诸如SATASAS, PCIe等组成。SSD作为数据存储设备 其实是一种典型的System on Chip 单机系统 有主控CPU、 RAM、 操作加速器、 总线、 数据编码译码等模块见图2-1 操作对象为协议、 数据命令、 介质 操作目的是写入和读取用户数据。[7]图片来源 [11]3.1 主控制器SSD控制器是固态硬盘的主要控制芯片, 负责指挥、运算和协调SSD设备, FTL (Flash Translation Layer) 算法的运行[8]。目前主流的SSD主控架构如下图主要有三大部分组成与Host对接的界面(Host interface, ) 称为前端, 闪存转换层FTL称为中端以及闪存对接界面(Flash interface)称为后端。 每个 SSD 都有一个控制器(controller)将存储单元连接到电脑主控器可以通过若干个通道channel并行操作多块FLASH颗粒类似RAID0大大提高底层的带宽。控制器是一个执行固件(firmware)代码的嵌入式处理器。主要功能如下ReadWriteTrim错误检查和纠正(ECC)Address Translation——映射管理Garbage Collection——垃圾回收Wear Leveling——磨损平衡Power off Recovery —— 掉电恢复Error Handler——坏块管理SLC CacheRead Disturb Data RetentionOver Privision——预留空间Latecncy 平滑管理WAF写入放大缓存控制加密压缩重复数据去冗HMBhost memory buffer 管理固件升级Self Test3.2 存储单元 尽管有某些厂商推出了基于更高速的 DRAM 内存的产品但 NAND 闪存依然最常见占据着绝对主导地位。一般采用 TLC(multi-level cell) 甚至 QLC(Triple Level Cell) 闪存其特点是容量大、速度慢、可靠性低、存取次数低、价格也低。高端产品一般采用 SLC(single-level cell) 闪存其特点是技术成熟、容量小、速度快、可靠性高、存取次数高、价格也高。但是事实上取决于不同产品的内部架构设计速度和可靠性的差别也可以通过各种技术加以弥补甚至反转。 闪存内部结构 一个Die又可以分为多个Plane,而每个Plane又包含多个多个Block,每个Block又分为多个Page。以Samsung 4GB Flash为例共享8位I/0数据总线和一些控制信号线。每个Die由4个Plane组成每个Plane包含2048个Block每个Block又包含64个4KB大小的Page。我们顺序写入4个逻辑页分别写到不同的plane上这样写的目的是增加底层的并行性提升写入性能。参考[121114961] 3.3 闪存的分类 NAND FLASH 从 SLC - MLC - TLC - QLC每个单元存储的比特数增加这样晶圆的存储密度会成倍提高但对应的整卡可写入/擦除次数(P/E Cycle) 也降低意味着寿命也越短读写性能会越差。最重要的单位GB的成本会更低芯片的成本是和面积直接相关的。面积越小一个晶圆切出的Die(片)数目就更多单Die的成本就降下来了。[12] 各大原厂孜孜不倦地提高每个单元的比特数目的就是为了减少成本成本才是王道4. Host访问SSD的原理 固态硬盘的存储器件采用的是闪存具有以下几个特点(1)读写基本单位是以页Page为单位擦除是以块Block为单位。(2)每个物理块必须先擦除才能够写入数据。基于这些问题在固态硬盘中引入了闪存转换层映射表。Host是通过LBALogical BlockAddress逻辑地址块访问SSD的每个LBA代表着一个Sector一般为512B大小文件系统一般以4KB为单位访问SSD我们把Host访问SSD的基本单元叫用户页Host Page。而在SSD内部SSD主控与Flash之间是Flash Page为基本单元访问Flash的我们称Flash Page为物理页Physical Page。Host每写入一个Host Page, SSD主控会找一个Physical Page把Host数据写入SSD内部同时记录了这样一条映射Map。有了这样一个映射关系后下次Host需要读某个Host Page 时SSD就知道从Flash的哪个位置把数据读取上来。 SSD内部维护了一张映射表Map TableHost每写入一个Host Page就会产生一个新的映射关系这个映射关系会加入第一次写或者更改覆盖写Map Table当读取某个Host Page时 SSD首先查找Map Table中该Host Page对应的Physical Page然后再访问Flash读取相应的Host数据。 大多数SSD我们可以看到上面都有板载DRAM其主要作用就是用来存储这张映射表。也有例外比如基于Sandforce主控的SSD它并不支持板载DRAM那么它的映射表存在哪里呢SSD工作时它的绝大部分映射是存储在FLASH里面还有一部分存储在片上RAM上。当Host需要读取一笔数据时对有板载DRAM的SSD来说只要查找DRAM当中的映射表获取到物理地址后访问Flash从而得到Host数据.这期间只需要访问一次FlashH而对Sandforce的SSD来说它首先看看该Host Page对应的映射关系是否在RAM内如果在那好办直接根据映射关系读取FLASH如果该映射关系不在RAM内那么它首先需要把映射关系从FLASH里面读取出来然后再根据这个映射关系读取Host数据这就意味着相比有DRAM的SSD它需要读取两次FLASH才能把HOST数据读取出来底层有效带宽减半。对HOST随机读来说由于片上RAM有限映射关系Cache命中(映射关系在片上RAM)的概率很小所以对它来说基本每次读都需要访问两次FLASH所以我们可以看到基于Sandforce主控的SSD随机读取性能是不太理想的。5. SSD相关概念和技术5.1 多Plane操作 多 Plane NAND 是一种能够有效提升性能的设计。例如一个晶片内部分成了4个 Plane想象我们在操作时也可以进行多Plane并行操作来提升性能 不同的Die 是独立工作的可以并行操作。 多个SSD Channel 可以并行操作。5.2 多Die交错操作 交错操作可以成倍提升NAND的传输率因为NAND颗粒封装时候可能有多Die、多Plane(每个plane都有4KB寄存器)不同Die操作时候可以交叉操作(第一个plane接到指令后在操作的同时第二个指令已经发送给了第二个Die以此类推)达到接近双倍甚至4倍的传输能力(看闪存颗粒支持度)。5.3 FTL 操作系统通常将硬盘理解为一连串 512B 大小的扇区[注意操作系统对磁盘进行一次读或写的最小单位并不是扇区而是文件系统的块一般为 512B/1KB/4KB 之一(也可能更大)其具体大小在格式化时设定]但是闪存的读写单位是 4KB 或 8KB 大小的页而且闪存的擦除(又叫编程)操作是按照 128 或 256 页大小的块来操作的。更要命的是写入数据前必须要先擦除整个块而不能直接覆盖。这完全不符合现有的、针对传统硬盘设计的文件系统的操作方式很明显我们需要更高级、专门针对 SSD 设计的文件系统来适应这种操作方式。但遗憾的是目前还没有这样的文件系统。为了兼容现有的文件系统就出现了 FTL(闪存转换层)它位于文件系统和物理介质之间把闪存的操作习惯虚拟成以传统硬盘的 512B 扇区进行操作。这样操作系统就可以按照传统的扇区方式操作而不用担心之前说的擦除/读/写问题。一切逻辑到物理的转换全部由 FTL 层包了。 FTL 算法本质上就是一种逻辑到物理的映射因此当文件系统发送指令说要写入或者更新一个特定的逻辑扇区时FTL 实际上写入了另一个空闲物理页并更新映射表再把这个页上包含的旧数据标记为无效(更新后的数据已经写入新地址了旧地址的数据自然就无效了)。5.4 磨损平衡(Wear leveling) 简单说来磨损平衡是确保闪存的每个块被写入的次数相等的一种机制。 如果系统中的所有块都定期更新这就没有问题因为当页面被标记为无效然后被回收时磨损均衡几乎会自然发生。通常情况下在 NAND 块里的数据更新频度是不同的。具体来说如果我们有一些冷块即数据永远不会改变的位置那么我们必须采取措施手动重新定位该数据否则这些块将永远不会磨损……磨损均衡需要将数据搬移到新的块这意味着我们也在增加写入工作量这最终意味着增加磨损。 因此简而言之我们对均匀磨损均衡的要求越高我们造成的磨损就越多。但不够积极可能会导致热点和冷点因为磨损变得更加不均匀。一如既往这是一个找到正确平衡的问题。或者如果您愿意找到写入平衡。 磨损平衡算法分静态和动态。动态磨损算法是基本的磨损算法只有用户在使用中更新的文件占用的物理页地址被磨损平衡了。而静态磨损算法是更高级的磨损算法在动态磨损算法的基础上增加了对于那些不常更新的文件占用的物理地址进行磨损平衡这才算是真正的全盘磨损平衡。简单点说来动态算法就是每次都挑最年轻的 NAND 块来用老的 NAND 块尽量不用。静态算法就是把长期没有修改的老数据从一个年轻 NAND 块里面搬出来重新找个最老的 NAND 块放着这样年轻的 NAND 块就能再度进入经常使用区。 尽管磨损均衡的目的是避免数据重复在某个空间写入以保证各个存储区域内磨损程度基本一致从而达到延长固态硬盘的目的。但是它对固态硬盘的性能有不利影响并且会增加磨损。5.5 垃圾回收(Garbagecollection) 当整个SSD写满后从用户角度来看如果想写入新的数据则必须删除一些数据然后腾出空间再写。用户在删除和写入数据的过程中会导致一些Block里面的数据变无效或者变老。Block中的数据变老或者无效是指没有任何映射关系指向它们用户不会访问到这些FLASH空间它们被新的映射关系所取代。比如有一个Host Page A开始它存储在FLASH空间的X,映射关系为A-X。后来HOST重写了该Host Page由于FLASH不能覆盖写SSD内部必须寻找一个没有写过的位置写入新的数据假设为Y这个时候新的映射关系建立A-Y之前的映射关系解除位置X上的数据变老失效我们把这些数据叫垃圾数据。随着HOST的持续写入FLASH存储空间慢慢变小直到耗尽。如果不及时清除这些垃圾数据HOST就无法写入。SSD内部都有垃圾回收机制它的基本原理是把几个Block中的有效数据非垃圾数据集中搬到一个新的Block上面去然后再把这几个Block擦除掉这样就产生新的可用Block了. 另一方面由前面的磨损平衡机制知道磨损平衡的执行需要有“空白块”来写入更新后的数据。当可以直接写入数据的“备用空白块”数量低于一个阀值后SSD主控制器就会把那些包含无效数据的块里的所有有效数据合并起来写到新的“空白块”中然后擦除这个块以增加“备用空白块”的数量。 有三种垃圾回收策略 闲置垃圾回收很明显在进行垃圾回收时候会消耗大量的主控处理能力和带宽造成处理用户请求的性能下降SSD 主控制器可以设置在系统闲置时候做“预先”垃圾回收(提前做垃圾回收操作)保证一定数量的备用空白块让 SSD 在运行时候能够保持较高的性能。闲置垃圾回收的缺点是会增加额外的写入放大因为你刚刚垃圾回收的有效数据也许马上就会被更新后的数据替代而变成无效数据这样就造成之前的垃圾回收做无用功了。 被动垃圾回收每个 SSD 都支持的技术但是对主控制器的性能提出了很高的要求适合在服务器里用到SandForce 的主控就属这类。在垃圾回收操作消耗带宽和处理能力的同时处理用户操作数据如果没有足够强劲的主控制器性能则会造成明显的速度下降。这就是为啥很多 SSD 在全盘写满一次后会出现性能下降的道理因为要想继续写入数据就必须要边垃圾回收边做写入。 手动垃圾回收用户自己手动选择合适的时机运行垃圾回收软件执行垃圾回收操作。 可以想象如果系统经常进行垃圾回收处理频繁的将一些区块进行擦除操作那么 SSD 的寿命反而也会进一步下降。由此把握这个垃圾回收的频繁程度同时确保 SSD 中的闪存芯片拥有更高的使用寿命这确实需要找到一个完美的平衡点。所以SSD 必须要支持 Trim 技术不然 GC 就显不出他的优势了。5.6 Trim Trim 是一个 ATA 指令当操作系统删除文件或格式化的时候由操作系统同时把这个文件地址发送给 SSD 的主控制器让主控制器知道这个地址的数据无效了。当你删除一个文件的时候文件系统其实并不会真正去删除它而只是把这个文件地址标记为“已删除”可以被再次使用这意味着这个文件占的地址已经是“无效”的了。这就会带来一个问题硬盘并不知道操作系统把这个地址标记为“已删除”了机械盘的话无所谓因为可以直接在这个地址上重新覆盖写入但是到了 SSD 上问题就来了。NAND 需要先擦除才能再次写入数据要得到空闲的 NAND 空间SSD 必须复制所有的有效页到新的空闲块里并擦除旧块(垃圾回收)。如果没有 Trim 指令意味着 SSD 主控制器不知道这个页是“无效”的除非再次被操作系统要求覆盖上去。 Trim 只是条指令让操作系统告诉 SSD 主控制器这个页已经“无效”了。Trim 会减少写入放大因为主控制器不需要复制“无效”的页(没 Trim 就是“有效”的)到空白块里这同时代表复制的“有效”页变少了垃圾回收的效率和 SSD 性能也提升了。Trim 能大量减少伪有效页的数量它能大大提升垃圾回收的效率。目前支持 Trim 需要三个要素 (1)系统操作系统必须会发送 Trim 指令Win7, Win2008R2 , Linux-2.6.33 以上。 (2)固件 SSD 的厂商在固件里要放有 Trim 算法也就是 SSD 的主控制器必须认识 Trim 指令。 (3)驱动 控制器驱动必须要支持 Trim 指令的传输也就是能够将 Trim 指令传输到 SSD 控制器。MS 的驱动Intel 的 AHCI 驱动目前支持。别的要看之后的更新了。目前RAID 阵列里的盘明确不支持 TRIM不过 RAID 阵列支持 GC。5.7 预留空间(Over-provisioning) 预留空间是指用户不可操作的容量为实际物理闪存容量减去用户可用容量。这块区域一般被用来做优化包括磨损均衡GC和坏块映射。 第一层为固定的7.37%这个数字是如何得出的哪我们知道机械硬盘和 SSD 的厂商容量是这样算的1GB 是1,000,000,000字节(10的9 次方)但是闪存的实际容量是每 GB1,073,741,824(2的30次方) 两者相差7.37%。所以说假设1块 128GB 的 SSD用户得到的容量是 128,000,000,000 字节多出来的那个 7.37% 就被主控固件用做OP了。 第二层来自制造商的设置通常为 0%7%28% 等打个比方对于 128G 颗粒的 SandForce 主控 SSD市场上会有 120G 和 100G 两种型号卖这个取决于厂商的固件设置这个容量不包括之前的第一层 7.37% 。 第三层是用户在日常使用中可以分配的预留空间用户可以在分区的时候不分到完全的 SSD 容量来达到这个目的。不过需要注意的是需要先做安全擦除(Secure Erase)以保证此空间确实没有被使用过。 预留空间的具体作用 (1)垃圾回收就是要把数据搬来搬去那就需要始终有空的地方来放搬的数据。空的越多搬的越快多多益善有些SSD为了更快还会再拿走一些用户的容量。 (2)映射表等内部数据保存SSD里面有一个巨大的映射表把用户地址转成物理Flash颗粒地址需要保存以防掉电丢失。这个大概是千分之三的容量。 (3)坏块替换写得多了坏块会逐渐增加需要用好的顶替。随着Flash的制程从32nm不断变小变到现在的14nmFlash质量越来越差坏块越来越多这部分可能会到3%甚至更多。5.8 写入放大(Write amplification) 因为闪存必须先擦除(也叫编程)才能写入在执行这些操作的时候移动或覆盖用户数据和元数据(metadata)不止一次。这些额外的操作不但增加了写入数据量减少了SSD的使用寿命而且还吃光了闪存的带宽间接地影响了随机写入性能。这种效应就叫写入放大(Write amplification)。一个主控的好坏主要体现在写入放大上。 比如我要写入一个 4KB 的数据最坏的情况是一个块里已经没有干净空间了但是有无效数据可以擦除所以主控就把所有的数据读到缓存擦除块从缓存里更新整个块的数据再把新数据写回去。这个操作带来的写入放大就是我实际写4K的数据造成了整个块(1024KB)的写入操作那就是256倍放大。同时带来了原本只需要简单的写4KB的操作变成闪存读取(1024KB)缓存改(4KB)闪存擦(1024KB)闪存写(1024KB)造成了延迟大大增加速度急剧下降也就是自然的事了。所以写入放大是影响 SSD 随机写入性能和寿命的关键因素。 用100%随机4KB来写入 SSD对于目前的大多数 SSD 主控而言在最糟糕的情况下写入放大的实际值可能会达到或超过20倍。当然用户也可以设置一定的预留空间来减少写入放大假设你有个 128G 的 SSD你只分了 64G 的区使用那么最坏情况下的写入放大就能减少约3倍。许多因素影响 SSD 的写入放大。下面列出了主要因素以及它们如何影响写入放大。 (1)垃圾回收虽然增加了写入放大(被动垃圾回收不影响闲置垃圾回收影响)但是速度有提升。 (2)预留空间可以减少写入放大预留空间越大写入放大越低。 (3)开启 TRIM 指令后可以减少写入放大 (4)用户使用中没有用到的空间越大写入放大越低(需要有 Trim 支持)。 (5)持续写入可以减少写入放大。理论上来说持续写入的写入放大为1但是某些因素还是会影响这个数值。 (6)随机写入将会大大提升写入放大因为会写入很多非连续的 LBA。 (7)磨损平衡机制直接提高了写入放大5.9 ECC ECC的全称是Error Checking and Correction是一种用于Nand的差错检测和修正算法。由于NAND Flash的工艺不能保证NAND在其生命周期中保持性能的可靠因此在NAND的生产中及使用过程中会产生坏块。为了检测数据的可靠性在应用NAND Flash的系统中一般都会采用一定的坏区管理机制而管理坏区的前提是能比较可靠的进行坏区检测。如果操作时序和电路稳定性不存在问题的话NAND Flash出错的时候一般不会造成整个Block或是Page不能读取或是全部出错而是整个Page中只有一个或几个bit出错这时候ECC就能发挥作用了。不同颗粒有不同的基本ECC要求不同主控制器支持的ECC能力也不同理论上说主控越强ECC能力越强。参考[1] SSD(固态硬盘)简介 http://www.jinbuguo.com/storage/ssd_intro.html[2] SSD背后的秘密SSD基本工作原理 http://www.ssdfans.com/?p131[3] 固态硬盘(SSD)原理及相关介绍 https://blog.csdn.net/cighao/article/details/48135137[4] [SSD固态硬盘技术 15] FTL映射表的神秘面纱 https://blog.csdn.net/vagrant0407/article/details/128983639[5] [SSD固态硬盘技术 9] FTL详解 https://blog.csdn.net/vagrant0407/article/details/128978780[6] 王发宽.基于NADA闪存的混合固态硬盘设计研究[D].杭州:杭州电子科技大学,2017.[7] SSD Fans.深入浅出SSD[M].机械工业出版社,2018.[8] 李想.基于软件架构的固态硬盘FTL设计[D].武汉:华中科技大学,2015.[9] 赵鹏,白石.基于随机游走的大容量固态硬盘磨损均衡算法[J].计算机学报,2012,35(5):972-978.[10] 周懿,戴紫彬,面向Nand Flash自适应纠错码方案研究与设计[J].计算机工程与设计,2017,38(6):1681-1685.[11] 固态硬盘存储技术的分析https://blog.csdn.net/weixin_46637351/article/details/126013567[12] NOR Flash 和 NAND Flash 闪存详解https://blog.csdn.net/vagrant0407/article/details/127813278
