虚拟主机空间发布网站,网站建实例,专业的企业进销存软件定制,河南省安阳市建设银行网站【云存储】SDS软件定义存储#xff0c;数据存储的类型与技术方案#xff08;块/文件/对象#xff0c;Ceph、RBD等#xff09; 文章目录 1、分布式存储架构#xff08;软件定义存储SDS#xff0c;超融合基础架构HCI#xff09;2、存储类型#xff08;块存储#xff0c;…【云存储】SDS软件定义存储数据存储的类型与技术方案块/文件/对象Ceph、RBD等 文章目录 1、分布式存储架构软件定义存储SDS超融合基础架构HCI2、存储类型块存储文件存储对象存储3、存储技术与解决方案RDBCephHDFS等等 声明本文所有内容均来自互联网 AIGC无加密资料引用已注明出处见参考资料侵删 1、分布式存储架构软件定义存储SDS超融合基础架构HCI
云存储
云存储是一种云计算领域存储服务方式底层构建在分布式存储基础之上上层通过Internet形式提供存储服务除具备分布式存储基础特性外更兼具灵活性通常由云厂商提供。公有云私有云混合云存储本质上与本地存储类型一致以产品的形式可以有以下三个存储分类块存储文件存储对象存储。存储技术与解决方案有分布式集中式。具体技术有RDBCephHDFS等等下面也会详细介绍。
存储架构发展趋势从集中式架构向分布式架构不断演进 引用-重点看 存储市场按照存储架构可以分为传统企业级存储TESS、软件定义存储SDS、超融合基础架构HCI随着数据量增长及数据分析需求爆发存储架构从传统的集中式存储向分布式演进分布式存储的主要形式分为软件定义与超融合。 传统集中式存储架构演进 DAS直接连接存储存储设备是通过电缆通常是SCSI接口电缆直接连到服务器的。 NAS方式则全面改进了以前低效的DAS存储方式。它采用独立于服务器使用网络连接存储专用文件服务器来连接存储设备自形成一个网络。 SAN是一个用在服务器和存储资源之间的、专用的、高性能的网络体系。 分布式存储架构 软件定义存储SDS将存储硬件中的存储控制器功能抽出来放到软件上包括卷管理、RAID、数据保护、快照和复制等等。虚拟化和虚拟化和云技术的发展和成熟转变了数据中心的设计、建造、管理和运维方式这种变革使软件定义存储越来越有吸引力。 超融合架构HCI: 超融合基础架构除对计算、存储、网络等基础元素进行虚拟化外通常还包括诸多IT架构管理功能多个单元设备可以通过网络聚合起来实现模块的无缝横向扩展形成统一资源池。
存储服务商
《中国软件定义存储(SDS)及超融合存储系统(HCI)市场季度跟踪报告2023 年第三季度》国外的云存储服务提供商 Amazon Web Services (AWS) S3、Google Cloud Storage、Microsoft Azure Blob Storage、IBM Cloud Object Storage、Dropbox、Box、Apple iCloud国内的一些数据服务服务商: ,
参考资料1 2,3 45
2、存储类型块存储文件存储对象存储
参考资料1, 23 块存储硬盘裸盘, ssd, hdd, raw, qcow2
块存储提供的是不带文件系统裸磁盘使用之前需先进行初始化。我们比较常见的块存储形式是我们的Windows硬盘或手机存储空间数据是按字节来存储和访问的。块存储使用时文件系统在客户端例如Windows系统我们可以在Windows桌面查看我们存储的内容但是对于硬盘里的内容和格式我们是一无所知的只有借助客户端的文件系统才能查看。由于块存储只负责数据读取和写入因此具有有高带宽、低延迟的优势但是扩展能力有限适用于对响应时间要求高的系统。比如数据库、ERP等企业核心应用的存储等。DAS、SAN这两种存储设备于块存储类型。基于Block块的存储模式两种常见存储方式 DASDirect Attch Storage 直连主机存储方式 SAN (Storage Area Netowrk)高速网络链接主机存储方式块存储不仅仅是直接使用物理设备间接使用物理设备的也叫块设备比如虚机创建虚拟磁盘。VMware、VirtualBox都可以创建虚拟磁盘虚机创建的磁盘格式包括raw、qcow2等这与主机使用的裸设备不一样且有不同的应用场景。优点1、通过RAID与LVM等手段对数据提供了保护(RAID可实现磁盘的备份和校验LVM可以做快照)2、RAID将多块廉价的硬盘组合起来构建大容量的逻辑盘对外提供服务性价比高3、写数据时由于是多块磁盘组合成的逻辑盘可以并行写入提升了读写效率4、很多时候块存储采用SAN架构组网传输速率以及封装协议的原因使得传输速度与读写速率得到提升。缺点不利于不同操作系统主机间的数据共享因为操作系统使用不同的文件系统格式化完成后不同文件系统间的数据是无法共享的。
文件存储属性索引, ftp, nfs, smb
依附网络提供文件存储服务。文件存储也有软硬一体化的设备用一台普通服务器/笔记本只要安装上合适的操作系统与软件就可以对外提供FTP与NFS服务。文件存储的存储端带有文件系统我们常见的NAS存储都是文件存储设备。这些文件存储设备除了磁盘外还带有文件系统用户直接通过存储端的文件系统就能调用存储资源。文件存储一般体现形式是目录和文件比如C\User\Program Files\Common Files数据以文件的方式存储和访问按照目录结构进行组织。文件存储有自己的文件系统对于每个客户端而言是一个统一的文件系统可以同时供多个客户端使用易于共享。相比于块存储文件存储由于有自己的文件系统可以实现更高级的管理可以很方便的共享因此用途非常广泛。比如常用的NFS、CIFS、ftp等都是基于文件存储的。但相比于块存储文件存储读写速度相对于块存储要慢一点。读写速率低传输速率慢以太网上传下载速度较慢另外读写操作都分布到单台服务器与磁阵的并行写相比性能差距较大。主流应用CephFS、HDFS、NFS、CIFS、Samba、FTP
对象存储哈希索引, oss
块存储性能出色但是不能共享文件存储可以共享但是速度又总是不让人满意做为不会做选择题的成年人既想性能还要实现共享同时还要满足大规模扩展需求所有就有了对象存储。对象存储一般体现形式是一个UUID比如我们常见的网址xxx这个UUID是唯一性的即使在全球也只有通过这一个UUID。数据和元数据打包在一起作为一个整体对象存在一个超大池子里。用户想访问只需能通过它的UUID才能找到它。对象存储端的文件系统就是采用这种哈希表-键值可以理解为查字典最多两层目录这种方式来提高读写速度的。对象存储就可以非常简单的扩展到超大规模因此非常适合数据量大、增速又很快的视频、图像等例如百度网盘、大数据存储。成本数据库等追求高性能的应用更适合采用块存储。对象存储的成本比普通的文件存储还是较高。
三类存储的区别
这三者的本质差别是使用数据的“用户”不同 块存储的用户是可以读写块设备的软件系统例如传统的文件系统、数据库 文件存储的用户是自然人 对象存储的用户则是其它计算机软件。引用
3、存储技术与解决方案RDBCephHDFS等等 参考资料1, 2-ceph基础 34, 5, 6
单机/集中式存储系统
单机存储系统是单机存储引擎 数据结构在机械磁盘、SSD等持久化介质上的实现的一种封装 对外提供文件、键值、表格或者关系模型的存储服务。集中式存储相对与单机存储而言存储系统中包含了更多组件除了机头控制器、磁盘阵列JBOD和交换机等设备外还有管理设备等辅助设备。
分布式存储系统
分布式存储系统是将分散独立的存储设备通过网络互联系统关联对外作为一个整体提供存储服务。设计原则参考CAP
HDFS (Hadoop Distributed File System)
架构: 主-从架构 特点: 高吞吐量和冗余存储 劣势: 高延迟更多适用于批处理作业
Ceph
Ceph是一个统一的分布式存储系统设计初衷是提供较好的性能、可靠性和可扩展性。它是一个统一的存储系统既支持传统的块、文件存储协议例如SAN和NAS也支持新兴的对象存储协议如S3和Swift这使得Ceph理论上可以满足时下一切主流的存储应用的要求。组件: Ceph OSD, Mon, MDS 用途: 对象存储、块存储和文件系统 挑战: 高复杂性需要专业知识进行管理Kubernetes 支持 Ceph 的块存储Ceph RBD和文件存储CephFS作为 Kubernetes 的持久存储后端。Kubernetes 自带 Ceph RBD 的 internal provisioner可以配置动态提供如果要使用 CephFS 作为动态存储提供需要安装外置的 provisioner。ceph结构 LIBRADOS 一个允许应用程序直接访问 RADO 的库支持 C、C、Java、Python、Ruby 和 PHP RADOSGW 基于存储桶的 REST网关兼容s3和Swift RBD 一个负责任的完全-分布式块设备使用Linux内核cliont和QEMU/KVM驱动程序 CEPHFS 符合POSIX标准的分发文件系统具有Linux内核客户端和对FUSE的支持 RADOS 由自我修复、自我管理、智能存储节点组成的可靠、自主、分布式对象存储
RBD (RADOS Block Device)
RBD(RADOSBlockDevice)指分布式块存储服务组件是Ceph对外的三大存储服务组件之一。另外两个分别是CephFS以及Radosgw 。它允许用户在 Ceph 集群上创建、管理和使用虚拟块存储设备类似于传统的硬盘分区或逻辑卷。这些虚拟块设备可以用于云计算环境中的虚拟机例如 KVM、QEMU作为虚拟磁盘也可以直接挂载在物理服务器上作为块设备使用。上层应用访问RBD有两种途径librbd以及krbd。其中librbd是基于librados的用户态接口库而krbd是继承在GNU/Linux内核中的一个内核模块。通过librbd命令行工具将RBD块设备映射为本地的一个块设备文件。
ceph 运维常用命令
# 镜像
ceph df #查看集群使用状态
ceph health detail #显示集群健康状态
rados -p [pool_name] ls #缓存对象
rbd -p [pool_name] map [img_name] #挂载镜像
rbd -p [pool_name] unmap [img_name] #卸载RBD镜像
rbd ls -p [pool_name] -l #查看存储池内RBD镜像
rbd ls [pool_name] #查看RBD镜像
rbd rm --pool [pool_name]--image [img_name] # 删除RBD镜像
rbd create [img_name] --size nM|G|T --pool [pool_name] --image-format 2 --image-feature layering # 创建RBD镜像
rbd status --pool [pool_name] --image [img_name] # 查看缓存状态
rbd status {pool-name}/{image-name} #缓存状态
rbd info [pool-name/]image-name #检索 RBD 镜像详情
rbd du [pool-name/]image-name #检索 RBD 镜像的调配磁盘使用量和实际磁盘使用量。
rbd resize [pool-name/]image-name --size nM|G|T #调整 RBD 镜像大小
rbd rm [pool-name/]image-name #删除 RBD 镜像
rbd cp [pool-name/]src-image-name [pool-name/] tgt-image-name #复制 RBD 镜像
rbd mv [pool-name/]src-image-name [pool-name/] new-image-name #重命名 RBD 镜像
rbd trash mv [pool-name/]image-name #将 RBD 镜像移到回收站中
rbd trash rm [pool-name/]image-name #从回收站中删除 RBD 镜像
rbd trash restore [pool-name/]image-name #从回收站中恢复 RBD 镜像
rbd trash ls [pool-name] #列出回收站中的所有 RBD 镜像
rbd fs fail fs_name #允许快速删除文件系统以进行测试或快速关闭文件系统和MDS守护程序
ceph fs set fs_name joinable false #允许快速删除文件系统以进行测试或快速关闭文件系统和MDS守护程序
ceph fs set fs_name joinable true #恢复cephfs集群# 存储池
ceph osd pool create poolname pg_num pgp_num {replicated|erasure} #创建存储池
ceph osd pool ls [detail] #列出存储池
ceph osd pool lspools #列出存储池
ceph osd pool stats [pool name] #获取存储池的时间信息
ceph osd pool old-name new-name #重命名存储池
ceph osd pool get [pool name] size #获取存储池对象副本数默认为一主两倍3副本
ceph osd pool get [pool name] min_size #存储池最下副本数
ceph osd pool get [pool name] pg_num #查看当前pg数量
ceph osd pool get [pool name] crush_rule #设置crush算法规则默认为副本池(replicated_rule)
ceph osd pool get [pool name] nodelete #控制是否可以删除。默认可以
ceph osd pool get [pool name] nopgchange #控制是否可更新存储池的pg num 和pgp num
ceph osd pool set [pool name] pg_num 64 #修改制定pool的pg数量
ceph osd pool get [pool name] nosizechange #控制是否可以更改存储池的大小默认允许修改
ceph osd pool set-quota [pool name] #获取存储池配额信息
ceph osd pool set-quota [pool name] max_bytes 21474836480 #设置存储池最大空间单位字节
ceph osd pool set-quota [pool name] max_objects 1000 #设置存储池最大对象数量
ceph osd pool get [pool name] noscrub #查看当前是否关闭轻量扫描数据默认值为false不关闭开启
ceph osd pool set [pool name] noscrub true #修改制定的pool轻量扫描为true不执行轻量扫描
ceph osd pool set [pool name] nodeep-scrub #查看当前是否关闭深度扫描数据默认值为false不关闭开启
ceph osd pool set [pool name] nodeep-scrub true #修改制定pool的深度扫描测量为true,即不执行深度扫描
ceph osd pool get [pool name] scrub_min_interval #查看存储池的最小整理时间间隔默认值没有设置可以通过配置文件中的osd_scrub_min_interval参数指定间隔时间。
ceph osd pool get [pool name] scrub_max_interval #查看存储池的最大整理时间间隔默认值没有设置可以通过配置文件中的osd_scrub_max_interval参数指定。
ceph osd pool get [pool name] deep_scrub_interval #查看存储池的深层整理时间间隔默认值没有设置可以通过配置文件中的osd_deep_scrub_interval参数指定。
rados df #显示存储池的用量信息# 快照
ceph osd pool mksnap [pool name] [snap name] #创建存储池快照
rados -p [pool name] mksnap [snap name] #创建存储池快照
rados -p [pool name] lssnap # 列出存储池快照
radps rollback -p [pool name] [object name] [snap name] #通过快照还原某个文件
ceph osd pool rnsnap [pool name] [snap name] # 删除存储池快照
rados -p [pool name ] rmsnap [snap name] # 删除存储池快照参考资料1, 2, 34, 5
镜像 (Mirroring)技术
类型: 同步镜像和异步镜像优点: 高数据可靠性和容灾能力缺点: 在同步模式下可能影响性能在日常使用镜像的过程中您可能需要将某格式的镜像转换为其他格式以下为您提供qemu-img工具或自研qemu-img-hw工具转换镜像格式的操作指导。qemu-img工具 支持vhd、vmdk、qcow2、raw、vhdx、qcow、vdi或qed格式的镜像之间相互转换qemu-img-hw工具弥补了qemu-img工具不支持zvhd和zvhd2格式的缺陷。通过qemu-img工具转换镜像格式: 格式转换
快照 (Snapshot)技术
实现方式: 写时复制 (Copy-on-write)优点: 快速备份和恢复缺点: 可能占用较多存储空间管理快照可以参考上面的ceph命令
NFS (Network File System)协议
版本: NFSv3, NFSv4功能: 支持文件锁定和ACLs挑战: 网络延迟和安全问题
SMB/CIFS (Server Message Block)协议
主要应用: Windows环境中的文件共享特点: 文件和打印机共享版本: SMB1, SMB2, SMB3
文件系统 (File System)
常见类型: Ext4, NTFS, XFS, Btrfs特性: 日志记录、快照、压缩和加密用途: 管理和组织存储设备上的数据
