中小型企业网站建设与推广,从写代码到网站运行不了了,西安营销型网站,聊城集团网站建设费用存储特性精简配置技术#xff08;SmartThin#xff09;SmartThin主要功能容量虚拟化存储空间写时分配#xff1a;Capacity-on-Write读写重定向#xff1a;Direct-on-Time应用场景及配置流程存储分层技术#xff08;SmartTier#xff09;存储分层工作原理关键技术容量初始…
存储特性精简配置技术SmartThinSmartThin主要功能容量虚拟化存储空间写时分配Capacity-on-Write读写重定向Direct-on-Time应用场景及配置流程存储分层技术SmartTier存储分层工作原理关键技术容量初始分配迁移策略I/O监控统计分析数据迁移服务质量控制技术SmartQoS工作原理IO优先级调度技术IO流量控制技术缓存分区技术SmartPartition工作原理应用场景快照技术映射表COW技术快照功能原理应用场景文件系统配额管理技术SmartQuota在Quota Tree目录上进行资源管控Quota Tree的资源用量应用场景精简配置技术SmartThin 上图展示了SmartThin提供的Thin LUN与传统LUN在空间分配上的差异。SmartThin技术做了如下改进 改进一采用SmartThin技术的LUN空间在创建时不真正分配具体空间而在需要真正使用空间时再分配具体空间。改进二有了改进一的基础后采用SmartThin技术的LUN空间可以在创建后动态调整大小。 当出现数据容量超过预期的情况时可以动态调整该LUN的空间。未使用的空间作为公共的空间可以分配给任何需要空间的LUN。这样不存在私有的一直不能被使用到的空间提高了利用率和效能比。同时动态空间调整提供了在线调整LUN空间大小的能力可以做到扩容的同时不影响业务。 数据集合对存储阵列来说是可映射给主机的LUN。完全可用可以正常读写。动态分配写时分配资源。
SmartThin主要功能
支持Thin LUN容量虛拟化。SmartThin允许主机可感知容量大于Thin LUN实际占用存储空间。支持存储空间写时分配SmartThin允许主机在向Thin LUN写入数据时才给Thin LUN分配实际空间写入多少分配多少。支持Thin LUN在线扩容。SmartThin提供两种在线扩容方式分别是存储池间接扩容和Thin LUN直接扩容。支持Thin LUN空间回收。SmartThin提供两种空间回收方式分别是标准SCSI命令空间回收和零数据释放空间回收。
容量虚拟化 SmartThin基于RAID2.0存储虚拟资源池创建Thin LUN即Thin LUN和传统的Thick LUN共存于同一个存储资源池中。精简LUNThin LUN是在存储池中创建的并可以映射为主机直接访问的逻辑单元。Thin LUN的容量大小并不是实际的物理空间而是一个虚拟值只有在对Thin LUN进行真正I/O读写时才通过写时分配的策略从存储资源池中申请物理空间。在RAID2.0环境中系统会将存储池空间即POOL划分成一个个小粒度的数据块(即CHUNK)基于数据块来构建RAID组(即CKG)使得数据均匀的分布到存储池的所有硬盘上然后以数据块为单位来进行资源管理。SmartThin使用将CKG切分为更小粒度的Extent卷中可用于分配的最小存储单元为单位来进行空间组织。因此Thin LUN与Thick LUN共存在一个存储池中同时使用该存储池中的物理存储容量使得存储规划更加灵活和便利避免了为Thin LUN和Thick LUN分别提供不同的存储池空间。
存储空间写时分配Capacity-on-Write
Thin LUN的写I/O请求会触发空间分配。Thin LUN的当前可分配物理空间低于阈值后会向存储池申请新的空间。
Capacity-on-write当Thin LUN接收到主机写数据请求首先会通过direct-on-time技术判断该写数据请求的逻辑存储区域是否已经分配了实际存储区如果尚未分配就会触发空间分配分配的最小粒度称为Grain, Grain大小为64k然后将数据写入到新分配的实际存储区域中。
读写重定向Direct-on-Time 由于采用了Capacity-on-write技术数据的实际存储区域和逻辑存储区域的关系不再是按照确定的公式可以固定不变计算出来的而是按照写时分配的原则随机映射确定的。所以在对Thin LUN进行读写时需要重定向实际存储区域和逻辑存储区域的关系重定向依赖于映射表。映射表的主要作用是用来记录实际存储区域和逻辑存储区域的映射关系。在写过程中动态更新映射表在读过程中查询映射表。因此Direct-on-time重定向操作也就分为读重定向和写重定向。读重定向Thin LUN接收到主机读数据请求后先查询映射表如果该读数据的逻辑存储区域已分配对应的实际存储区域则将该读数据的逻辑存储区域重定向到实际存储区域然后从实际存储区域中读取到数据后将该数据返回给主机如果该读数据的逻辑存储区域尚未分配空间则将该逻辑存储区域的数据置为全0返回给主机。写重定向Thin LUN接收到主机写数据请求后先查询映射表如果该写数据的逻辑存储区域已分配对应的实际存储区域则将该写数据的逻辑存储区域重定向到实际存储区域然后将数据写入到实际存储区域中并返回写成功给主机如果该写数据的逻辑存储区域尚未分配空间则通过Capacity-on-write技术操作。
应用场景及配置流程
应用场景
对业务连续性要求较高的系统核心业务使用智能精简配置可以在线对系统进行扩容不会中断业务。例如:银行票据交易系统。应用系统数据增长速度无法准确评估的业务使用智能精简配置可以按需分配物理存储空间避免浪费例如: E-mail邮箱服务、网盘服务等。多种业务系统混杂并且对存储需求不-的业务使用智能精简配置可以让不同业务去竞争物理存储空间实现物理存储空间的优化配置例如:运营商服务等。
配置流程
存储分层技术SmartTier SmartTier智能数据分级是华为公司在RAID2.0技术之上自主研发的分级存储软件它自动将不同活跃度的数据和不同特点的存储介质动态匹配从而提高存储系统性能并降低用户成本。分级存储技术通过数据迁移完成数据的分级存储。目前分级存储技术主要分手工迁移和自动迁移两类。手工迁移是系统维护人员根据当前存储系统运行的状态、各个业务系统的压力情况手动将数据从一个LUN中迁移到另外一个LUN中。自动迁移是根据系统当前对某些文件或者块的访问频率识别出热点与非热点数据根据热点与非热点数据分配不同的存储介质将频繁访问的热点数据自动迁移到高性能的存储介质中而将低周期访问的非热点数据自动迁移到大容量低成本的存储介质中。
存储分层
存储层级硬盘类型硬盘特点数据特点高性能层SSD盘SSD盘的响应时间很短每单位存储容量成本很高。高性能层适宜存储访问频率非常高的数据。性能层SAS盘SAS盘的响应时间短每单位存储容量成本适中。性能层适宜存储访问频率适中的数据。容量层NL-SAS盘NL-SAS盘的响应时间长每单位存储容量成本低。容量层适宜存储访问频率低的数据。
SmartTier将不同存储介质按性能高低划分为三个存储层由高至低分别是SSD盘组成的层简称高性能层、SAS盘组成的层简称性能层、NL-SAS盘组成的层简称容量层。每个存储层分别使用相同的硬盘类型和RAID策略。
工作原理 存储池是一个或多个存储层的逻辑组合最多可支持三个级别的存储层。存储池包含的硬盘类型决定其可以创建的存储层。由单一硬盘类型组成的存储池无法创建不同存储层因此不能应用SmartTier进行智能化数据存储管理。LUN创建在存储池中在应用SmartTier特性之前其数据分布在同一个存储池的不同存储层。SmartTier将LUN数据按照一定粒度划分该粒度被称为“数据迁移粒度”或“数据块”。数据迁移粒度在创建存储池时设置且设置后不可更改。当存储池中存在两种或以上的硬盘类型时用户可以应用SmartTier特性充分利用存储池中的每个存储层。数据迁移过程中存储池以数据块为单位识别数据活跃度并将整个数据块迁移至其他存储层。存储系统经历I/O监控、数据排布分析、数据迁移三个阶段实现SmartTier。新数据写入LUN时存储系统根据初始容量分配策略将新写入的数据分配在相应存储层。随着数据生命周期的推移数据的活跃度会发生变化。SmartTier将不同活跃度的数据迁移至不同性能的存储层为存储系统提供更高的性能并且数据迁移过程不会影响其他新数据的写入。
关键技术 容量初始分配 初始容量分配策略包括四类自动分配、优先从高性能层分配、优先从性能层分配、优先从容量层分配。
迁移策略 自动迁移LUN配置了自动迁移策略该LUN的数据块按照访问频度做迁移访问频度最高的迁往高性能层访问频度适中的迁往性能层访问频度最低的迁往容量层。无特殊要求推荐配置自动迁移总体性能提升最佳。向高性能层迁移LUN配置了向高性能层迁移无论数据块访问频度是高还是低该LUN的所有数据块都会迁往高性能层级会占用较多高性能存储资源。只有对该LUN的性能有特殊要求时才配置向高性能层迁移。向低性能层迁移LUN配置了向低性能层迁移无论数据块访问频度是高还是低该LUN的所有数据块都会迁往容量层。当某个LUN用于归档业务或者用于对性能要求低的业务可配置向低性能层迁移。不迁移LUN配置了不迁移该LUN的所有数据块都不会做迁移这是LUN创建时的默认策略只有购买了SmartTier的License才能修改为其他迁移策略。
I/O监控统计分析 热数据和冷数据并没有用一个绝对值做区分。存储池高性能层容量可以存放A个数据块性能层容量可以存放B个数据块 在迁移时把该存储池的所有自动迁移策略的LUN的所有数据块按访问频度拉通排序在迁移时把访问频度最高的A个数据块存放到高性能层把访问频度较高的B个数据块存放到性能层访问频度排在后面的其他数据块放到容量层。原则是尽量让访问频度高的数据块使用性能好的存储介质。
数据迁移
迁移速度可以设置为高速、中速和低速分别对应的具体迁移速度位单控制器100M/S、20M/S和10M/S默认的迁移速度为低。为了减少SmartTier数据迁移对主机业务性能的影响设置的迁移速度是数据迁移速度允许的上限值。数据迁移让主机业务优先利用存储设备的空闲资源做迁移依据主机业务压力实时调整迁移的速度。主机业务压力小时迁移速度调大主机业务压力小时迁移速度调小无论如何调整迁移速度都不会大于设置的迁移速度。 低速适合在选择的数据迁移时段有较大的业务压力时使用。中速适合在选择的数据迁移时段有较适中的业务压力时使用。高速适合在选择的数据迁移时段几乎没有业务或主机业务对性能要求不敏感的情况下使用。 数据迁移粒度 512KB~64MB根据业务配置例如视频监控业务适合大的迁移粒度 数据迁移计划 手动方式可在任意时刻设置时间段进行数据迁移定时方式只能在预先设置的时间计划内进行数据迁移 数据迁移速率 可提供三种不同级别的迁移速率高、中、低根据当前业务负载动态调整速率确保不会对当前业务造成明显影响
服务质量控制技术SmartQoS SmartQoS特性是华为OceanStor V3 融合存储系统上提供的一项存储QoS功能。如图所示它能够对存储系统中的资源进行智能分配和调节在整个存储路径上进行端到端的细粒度控制从而满足多种不同重要性业务在同一台存储设备上的不同QoS要求。
工作原理
IO优先级调度技术通过区分不同业务的重要性来划分业务响应的优先级。在存储系统为不同业务分配计算资源的时候优先保证高优先级业务的资源分配请求。在计算资源紧张的情况下为高优先级的资源分配较多的资源以此尽可能保证高优先级业务的服务质量。当前用户可以配置的优先级分为高、中、低三个等级。IO流量控制技术基于传统的令牌桶机制针对用户设置的性能控制目标(IOPS、带宽)进行流量限制通过IO流控机制限制某些业务由于流量过大而影响其它业务。IO性能保障技术基于按权重调度的方式允许用户为高优先级业务指定最低性能目标(最小IOPS、 最小带宽、最大时延)当该业务的最低性能无法保障时系统内部通过对保障业务与非保障业务按照权重进行调度从而尽力使保障业务达到最低性能目标。
IO优先级调度技术 SmartQoS特性的优先级调度技术基于LUN和文件系统的优先级实现。因此每个LUN和文件系统对象都有一个优先级属性这个属性由用户配置并保存在数据库中当一个IO从主机发送到阵列这个IO将会根据其归属的LUN或文件系统来获得这个优先级属性并且在整个IO路径上携带这个优先级信息。用户在创建LUN或文件系统的时候需要指定所创建的LUN或文件系统的优先级。如果用户不进行指定则所创建的LUN或文件系统的优先级属性默认为低优先级。 LUN或文件系统创建后其优先级属性可以根据用户的需要手动修改。
IO流量控制技术 SmartQoS特性的IO流量控制技术的性能目标是基于令牌的分发和控制实现的。当用户为某个流控组设置了性能上限那么这个性能上限会被转化成对应的令牌。在存储系统中如果用户要限制的流量类型是IOPS那么一个IO即对应一个令牌如果设定的性能目标是带宽那么一个扇区对应一个令牌。每个流控队列都有一个令牌桶SmartQoS会定期向每个流控队列的令牌桶中放入一定数量的令牌令牌的数量取决于用户设定的这个流控组的性能上限。即如果用户设定性能上限为IOPS 10000则令牌分发算法就会在每秒将此流控组的令牌桶中的令牌数设置为10000。当流控队列进行出队处理的时候会查看此队列的令牌桶中是否有足够的令牌如果有则取出一个IO进行处理并消耗这个IO对应的令牌如果没有令牌则必须等待令牌桶中有足够的令牌可以用为止。
缓存分区技术SmartPartition
SmartPartition (智能缓存分区)是OceanStor V3融合存储系统为应对存储融合趋势下QoS的挑战而设计的智能缓存分区技术其核心思想是通过对系统核心资源的分区保证关键应用的性能。管理员可以针对不同的应用配置不同大小的缓存分区系统将保证该分区中的缓存资源被该应用独占并根据业务实际情况实时动态调配不同分区中的其他资源从而保证位于该分区的应用性能。SmartPartion本质上就是一种Cache分 区技术Cache分 区在业界是比较成熟的一项技术推出的时间也比较长。当前主流的存储厂商比如EMC和HDS均推出了各自的Cache分区特性。从技术层面来看各大厂商实现的方式基本一致 都是将有限的Cache资源划分为多个逻辑区域进行管理区别主要在于Cache分区内部的具体的一些算法和调整策略。 典型的IT系统架构由计算、网络、存储三大部分组成在传统的“烟囱式”架构中不同的应用系统相对独立单个存储需要面对的应用数量不多一般在5个以下。图中每种颜色代表了一种不同的业务。可以看到这些业务的I/O模式是不同的对缓存及访盘并发的需求也是不同的。多种业务混合争抢并发资源和缓存资源导致服务质量不可保证。比如业务N抢占的访盘并发同其主机并发并不匹配其结果就是缓存中业务N的数据会越来越多对其他业务性能造成影响而业务3如果是关键业务就意味着其业务性能不能得到保证。
工作原理 Cache分区技术通过隔离不同的业务所需要的资源保证某些关键业务的服务质量。在存储系统中某个业务能够使用的缓存容量是影响其服务质量的一个主要因素。该业务在该存储系统上可以占有的缓存大小是影响存储系统性能的最主要因素 对写业务来说更多的缓存意味着更高的写合并率、写命中率同一块数据在缓存中被再次写中的比率和更好的访盘顺序度对读业务来说更多的缓存通常意味着更高的读命中率。同时不同类型的业务对缓存的需求也有很大不同对顺序类业务来说缓存不需要很大只需要满足I/O合并要求即可而对随机类业务来说更大的缓存通常意味着更好的访盘顺序度从而带来性能的提升。 SmartPartition可以针对不同的业务实际控制对象为LUN和文件系统分配不同大小的缓存分区资源从而保证关键业务的服务质量。
应用场景 随着存储系统的性能和容量不断增强增大将多个应用同时部署在一台存储系统上不仅简化用户的存储系统架构还能减少用户配置和管理成本。部署在同一台存储系统上的多个应用会争抢存储资源将导致各业务的性能受到严重影响。通过SmartPartition特性可以为不同的业务指定不同的缓存分区满足关键业务的运行要求。同时根据业务读写压力可以分别设置相应读分区和写分区大小。如读业务量较大可为其分配更多的读分区容量若全是写业务则可以配置较小的读分区容量。
快照技术
定义:快照是指源数据在某个时间点的一致性数据副本。快照生成后可以被主机读取也可以作为某个时间点的数据备份。快照的主要特点包括 瞬间生成:存储系统可以在几秒钟内生成一-个快照 获取源数据的一致性副本。占用存储空间少:生成的快照数据并非完整的物理数据拷贝不会占用大量存储空间。所以即使源数据量很大也只会占用很少的存储空间。
映射表 映射表用来表示快照的实际数据所在。映射表分为两类独享映射表和共享映射表。其原理是相同的不同的地方在于独享映射表记录写快照发生的数据变更共享映射表记录的是写源LUN发生的变更。
COW技术
当快照被激活时此时刻称为快照时间点主机读写的具体操作如下
激活快照后源LUN有数据写入。首先将查询快照映射表如果映射表中对应该地址的映射项不存在时需要进行copy-on-write(写前拷贝)写前拷贝完成后在映射表中记录备份的源LUN数据信息。如果映射项存在则直接覆盖写入源LUN的对应位置。写前拷贝即读取源LUN对应位置的数据写入COW卷的空间。COW卷空间与源LUN空间分布在同一个POOL中写入COW卷即写入POOL的空间区域。写前拷贝完成后再将主机数据写入源LUN所在的POOL空间。
快照功能原理
快照创建并激活后会生成与源卷一致的数据副本。存储系统在源卷中划分出COW数据空间并自动生成快照卷。由于对源卷没有写操作COW Meta区域和COW Data区域中均没有记录。由于对快照卷没有写操作Snapshot Meta Volume和Snapshot Data Volume中均没有记录。快照激活后当应用服务器对源卷有数据写入请求时存储系统不会立即写入新数据。存储系统利用写前拷贝机制先将写前拷贝数据拷贝到COW数据空间中并修改映射表中的映射关系然后将新数据写入源卷。说明在一个快照周期内同一位置的数据只执行一次写前拷贝根据映射表中相应值确定。再次写入数据时将直接覆盖。例如对于数据“DataX”查询到 映射表中相应值为“1”表示已经进行过一次写前拷贝如再有写数据请求将直接写入不再将“DataX”拷贝到COW数据空间中。快照激活后应用服务器可以对快照卷进行写操作。应用服务器下发的写请求后数据将直接写入快照卷并在映射表独享部分中记录数据在快照卷中的存放位置。快照激活后应用服务器可以对快读快照卷快照卷已写入数据进行读操作。 应用服务器下发读快照请求后通过映射表独享部分确定快照数据的存放位置并读取数据。快照激活后应用服务器可以对快读快照卷快照卷未写入数据进行读操作。 应用服务器下发读快照请求后通过映射表共享部分确定快照数据的存放位置并读取数据。
应用场景
直接使用快照进行数据备份。使用快照备份可以在以下场景中迅速恢复数据
病毒感染。人为误操作。恶意篡改。系统宕机造成的数据损坏。应用程序BUG造成的数据损坏。存储系统BUG造成的数据损坏。存储介质损坏只有基于split mirror技术的快照能够恢复数据。
文件系统配额管理技术SmartQuota 随着虚拟化的大行其道云计算技术的发展IT系统面临着资源利用效率、以及如何有效管理的挑战。在典型的IT存储系统中只要存储资源磁盘空间是可用的就会被用户使用直至耗尽。从经济角度来说需要一种方法控制存储资源的使用及其增长。在NAS文件服务环境中通常以共享目录的方式将资源提供给使用的部门、组织或个人。而每个部门或个人都有其独特的资源需求或限制。因此系统需要基于共享目录因地制宜地对各个使用者进行资源分配和限制。SmartQuota文件系统配额正是用于解决这个需求的技术该技术可以针对目录、用户、用户组这三类资源的使用者分别进行资源控制。SmartQuota的主要作用是方便系统管理员管控资源使用者包括目录、用户、用户组的存储资源以限制指定使用者可使用的磁盘空间从而避免出现某些用户过度占用资源的问题。
在Quota Tree目录上进行资源管控 在SmartQuota特性中Quota Tree是一个重要的概念。简单来说Quota Tree就是文件的一级目录。但从管理角度看 Quota Tree不仅是一个目录更是一个配置对象。这就意味着Quota Tree只能通过管理终端命令行或GUI管理界面来创建、删除和修改而不能通过客户端主机来修改。另外作为配置配额时的载体目录配额、用户配额、以及组配额都只能在Quota Tree上配置。我们总结一下Quota Tree与普通目录存在的差别Quota Tree只能由管理员通过命令行或GUI管理界面进行创建、删除、重命名等操作且管理员只能删除空的Quota Tree。Quota Tree可以通过协议进行共享且正在共享时不允许被改名和删除。不允许跨Quota Tree进行移动文件NFS协议或剪切文件CIFS协议操作即不允许在两个不同Quota Tree目录之间进行文件的MV操作NFS协议或剪切操作CIFS协议。不允许跨Quota Tree的硬链接即不允许在两个不同的Quota Tree之间进行硬链接操作。
Quota Tree的资源用量 目录的资源用量目录配额的统计值。 Quota Tree目录中所有文件的存储容量、文件数的总量。 用户/用户组的资源用量用户/用户组配额的统计值。 Quota Tree目录中所有创建者为特定用户/用户组的文件的存储容量、文件数的总量
应用场景 在单个Quota Tree内部管理员可配置目录配额限制对应部门总的资源然后为部门内部的使用者、群组分别配置用户配额、用户组配额灵活限制一个部门内各使用者的资源。 Share为研发部门的共享目录Quota Tree 0配置Quota Tree 0的目录配额限制研发部总的可用资源。配置经理A的私有用户配额单独限制经理A的可用资源。配置项目组G/E的私有用户组配额限制项目组G/E的可用资源
