文山知名网站建设公司,代理网约车平台赚钱吗,中企动力全球邮箱,合肥房产网新楼盘作者#xff1a;吴业亮 博客#xff1a;wuyeliang.blog.csdn.net
将Bcache集成到Ceph OSD后端可以带来一些优点和潜在的缺点。以下是它们的一些方面#xff1a;
优点#xff1a; 提高性能#xff1a;BCache作为SSD缓存设备#xff0c;可以提供更快的数据读取和写入速度…作者吴业亮 博客wuyeliang.blog.csdn.net
将Bcache集成到Ceph OSD后端可以带来一些优点和潜在的缺点。以下是它们的一些方面
优点 提高性能BCache作为SSD缓存设备可以提供更快的数据读取和写入速度。通过将热门数据缓存在SSD上可以减少对慢速磁盘的访问从而改善存储系统的整体性能。 提高响应性使用BCache作为缓存层可以显著减少IO延迟因为SSD具有更快的随机访问时间响应时间更短。 灵活性BCache可以根据应用程序的需求进行配置和调整。可以设置不同的缓存规则和策略根据数据的访问模式来调整数据在SSD上的缓存策略以最大程度地提高性能。 成本效益通过将较便宜的磁盘与SSD缓存结合可以在提供高性能和低成本的存储方案之间取得平衡。
缺点 部署和管理复杂性集成BCache到Ceph OSD后端需要额外的配置和管理。这可能增加了部署和管理方面的复杂性并需要更多的知识和技能。 可靠性考虑BCache是一个缓存层它依赖于底层磁盘来存储数据。尽管BCache有内建的数据保护措施但缓存设备的故障或数据丢失仍然可能导致数据损坏或不一致。 存储容量限制由于SSD的成本较高可能无法将所有数据都缓存在SSD上因此需要权衡SSD缓存容量和数据存储容量之间的平衡。
重要提示在集成BCache到Ceph OSD后端之前请考虑系统的需求、可靠性要求、成本预算以及管理复杂性。在部署之前建议进行充分的测试和评估以确保性能提升和可行性。此外定期监控和维护BCache缓存设备的容量和性能是至关重要的以确保系统的可靠性和一致性。
1、配置网络/etc/netplan/01-netcfg.yaml
network:ethernets:# interface nameens18:dhcp4: false# IP address/subnet maskaddresses: [172.16.8.202/24]# default gateway# [metric] : set priority (specify it if multiple NICs are set)# lower value is higher priorityroutes:- to: defaultvia: 172.16.8.1metric: 100nameservers:# name server to bindaddresses: [8.8.8.8]# DNS search base#search: [srv.world,server.education]dhcp6: falseversion: 2生效
# netplan apply修改主机名
hostnamectl set-hostname node3修改/etc/hosts
# cat /etc/hosts
127.0.0.1 localhost
127.0.1.1 ubuntu
172.16.8.201 node1
172.16.8.202 node2
172.16.8.203 node3# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters安装docker
apt -y install docker.io更新国内源
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-security main restricted universe multiverse更新ceph国内源
wget -q -O- https://download.ceph.com/keys/release.asc | sudo apt-key add -
sudo apt-add-repository deb https://mirrors.tuna.tsinghua.edu.cn/ceph/debian-quincy/ buster main
sudo apt update
源地址
https://satishdotpatel.github.io/deploy-ceph-storage-using-cephadm/安装cephadm
apt update
apt install -y cephadm针对ssd分区
parted -s /dev/sdf mklabel gpt
parted /dev/sdf mkpart primary xfs 00.0GB 10.0GB
parted /dev/sdf mkpart primary xfs 10.0GB 20.0GB
parted /dev/sdf mkpart primary xfs 20.0GB 30.0GB
parted /dev/sdf mkpart primary xfs 30.0GB 40.0GB
parted /dev/sdf mkpart primary xfs 40.0GB 50.0GB
parted /dev/sdf mkpart primary xfs 50.0GB 60.0GB
parted /dev/sdf mkpart primary xfs 60.0GB 70.0GB
parted /dev/sdf mkpart primary xfs 70.0GB 80.0GB
parted /dev/sdf mkpart primary xfs 80.0GB 85.0GB
parted /dev/sdf mkpart primary xfs 85.0GB 90.0GB
parted /dev/sdf mkpart primary xfs 90.0GB 95.0GB
parted /dev/sdf mkpart primary xfs 95.0GB 100.0GB# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
loop0 7:0 0 63.3M 1 loop /snap/core20/1822
loop1 7:1 0 111.9M 1 loop /snap/lxd/24322
loop2 7:2 0 49.8M 1 loop /snap/snapd/18357
loop3 7:3 0 49.8M 1 loop /snap/snapd/18596
loop4 7:4 0 63.3M 1 loop /snap/core20/1852
sda 8:0 0 80G 0 disk
├─sda1 8:1 0 1M 0 part
└─sda2 8:2 0 80G 0 part /
sdb 8:16 0 100G 0 disk
sdc 8:32 0 100G 0 disk
sdd 8:48 0 100G 0 disk
sde 8:64 0 100G 0 disk
sdf 8:80 0 100G 0 disk
├─sdf1 8:81 0 9.3G 0 part
├─sdf2 8:82 0 9.3G 0 part
├─sdf3 8:83 0 9.3G 0 part
├─sdf4 8:84 0 9.3G 0 part
├─sdf5 8:85 0 9.3G 0 part
├─sdf6 8:86 0 9.3G 0 part
├─sdf7 8:87 0 9.3G 0 part
├─sdf8 8:88 0 9.3G 0 part
├─sdf9 8:89 0 4.7G 0 part
├─sdf10 8:90 0 4.7G 0 part
├─sdf11 8:91 0 4.7G 0 part
└─sdf12 8:92 0 4.7G 0 part配置bcache盘
apt install bcache-tools -y
modprobe bcachemake-bcache -C /dev/sdf1 -B /dev/sdb --wipe-bcache
make-bcache -C /dev/sdf2 -B /dev/sdc --wipe-bcache
make-bcache -C /dev/sdf3 -B /dev/sdd --wipe-bcache
make-bcache -C /dev/sdf4 -B /dev/sde --wipe-bcacheecho writeback /sys/block/bcache0/bcache/cache_mode
echo writeback /sys/block/bcache1/bcache/cache_mode
echo writeback /sys/block/bcache2/bcache/cache_mode
echo writeback /sys/block/bcache3/bcache/cache_modelvm分区
vgcreate data0 /dev/bcache0
lvcreate -l 100%FREE data0vgcreate data1 /dev/bcache1
lvcreate -l 100%FREE data1vgcreate data2 /dev/bcache2
lvcreate -l 100%FREE data2安超软件包
cephadm install ceph初始化集群
mkdir -p /etc/cephcephadm bootstrap --mon-ip 172.16.8.201 --allow-fqdn-hostname部署单机
cephadm bootstrap --mon-ip 172.16.8.201 --allow-fqdn-hostname --single-host-defaults会有如下输出
Ceph Dashboard is now available at:URL: https://node1:8443/User: adminPassword: 8uw3xxz9m9Enabling client.admin keyring and conf on hosts with admin label
Saving cluster configuration to /var/lib/ceph/2304caa0-dd8c-11ed-b671-e93708859cab/config directory
Enabling autotune for osd_memory_target
You can access the Ceph CLI as following in case of multi-cluster or non-default config:sudo /usr/sbin/cephadm shell --fsid 2304caa0-dd8c-11ed-b671-e93708859cab -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyringOr, if you are only running a single cluster on this host:sudo /usr/sbin/cephadm shell Please consider enabling telemetry to help improve Ceph:ceph telemetry onFor more information see:https://docs.ceph.com/docs/master/mgr/telemetry/Bootstrap complete.设置ceph cli
# alias cephcephadm shell -- ceph
# echo alias cephcephadm shell -- ceph ~/.bash_profileceph -s
免密设置
# ssh-copy-id -f -i /etc/ceph/ceph.pub rootnode2
# ssh-copy-id -f -i /etc/ceph/ceph.pub rootnode3添加主机
# ceph orch host add node2# ceph orch host add node3查看主机
# ceph orch host ls设置MGR数量
# ceph orch apply mgr 3
# ceph orch host label add node2 mgr
# ceph orch host label add node3 mgr
# ceph orch apply mgr --placement node1 node2 node3删除mgr
ceph orch apply mgr “2 node1 node2 ”打开 balancer 模块
# ceph balancer on默认模式为 crush-compat。可使用以下方法更改模式
# ceph balancer mode upmap或者
# ceph balancer mode crush-compat使用 crush-compat 模式它与旧的客户端向后兼容并且会随着时间的推移对数据分发进行小更改以确保 OSD 平等地使用
查看状态
ceph balancer statusbalancer 是 Ceph Manager(ceph-mgr)的一个模块用于优化 OSD 之间放置组(PG)放置从而实现平衡的分发可自动或监管方式 启用 balancer 模块
ceph mgr module enable balancer启用报警模块
ceph mgr module enable alerts查看
ceph mgr module ls | more配置smtp
[ceph: roothost01 /]# ceph config set mgr mgr/alerts/smtp_host smtp.example.com
[ceph: roothost01 /]# ceph config set mgr mgr/alerts/smtp_destination exampleexample.com
[ceph: roothost01 /]# ceph config set mgr mgr/alerts/smtp_sender example2example.com[ceph: roothost01 /]# ceph config set mgr mgr/alerts/smtp_port 587验证用户名及密码
[ceph: roothost01 /]# ceph config set mgr mgr/alerts/smtp_user admin1234
[ceph: roothost01 /]# ceph config set mgr mgr/alerts/smtp_password admin1234设置检查周期
[ceph: roothost01 /]# ceph config set mgr mgr/alerts/interval 5m立即发送告警 [ceph: roothost01 /]# ceph alerts send
设置crash分析
通过使用 Ceph 管理器 crash 模块您可以收集有关守护进程 crashdumps 的信息并将其存储在 Ceph Storage 集群中以便进一步分析。默认情况下守护进程崩溃转储在 /var/lib/ceph/crash 中转储。您可以使用选项 crash dir 进行配置。崩溃目录按时间、日期和随机生成的 UUID 命名包含元数据文件 meta 和最新的日志文件其 crash_id 是相同的。
您可以使用 ceph-crash.service 自动提交这些崩溃并在 Ceph 监控器中保留。ceph-crash.service 监视 crashdump 目录并使用 ceph crash post 上传它们。
RECENT_CRASH heath 消息是 Ceph 集群中最常见的运行状况消息之一。此健康消息表示一个或多个 Ceph 守护进程最近崩溃且崩溃尚未存档或被管理员确认。这可能表示软件错误、硬件问题如磁盘失败或其它问题。选项 mgr/crash/warn_recent_interval 控制最近一次表示的时间周期默认为两周。您可以运行以下命令来禁用警告
确定启用了crash
ceph mgr module ls | more元数据文件是存储在 crash dir 中作为 meta 的 JSON blob。您可以调用 ceph 命令 -i - 选项该选项会从 stdin 读取
ceph crash post -i meta出所有新的以及归档的崩溃信息的时间戳或 UUID 崩溃 ID
ceph crash ls列出所有新崩溃信息的时间戳或 UUID 崩溃 ID
ceph crash ls-new列出按年龄分组的保存崩溃信息的概述
ceph crash stat查看保存崩溃的详情
ceph crash info 2022-05-24T19:58:42.549073Z_b2382865-ea89-4be2-b46f-9a59af7b7a2d删除比 KEEP days 旧的已保存的崩溃其中 KEEP 必须是一个整数。
ceph crash prune 60对崩溃报告进行归档使其不再被视为 RECENT_CRASH 健康检查且不会出现在 crash ls-new 输出中。它会出现在 crash ls 中
ceph crash archive 2022-05-24T19:58:42.549073Z_b2382865-ea89-4be2-b46f-9a59af7b7a2d记录所有崩溃报告
ceph crash archive-all删除崩溃转储
ceph crash rm 2022-05-24T19:58:42.549073Z_b2382865-ea89-4be2-b46f-9a59af7b7a2d部署mon
# ceph orch host label add node2 mon
# ceph orch host label add node3 monceph orch apply mon --placement3 node1 node2 node3部署mds
ceph orch host label add node1 mds
ceph orch host label add node2 mds
ceph orch host label add node3 mds部署OSD
磁盘要求
该设备不能有分区。
不得挂载该设备。
该设备不得包含文件系统。
该设备不得包含 Ceph BlueStore OSD。
该设备必须大于 5 GB。注意
在 Red Hat Ceph Storage 6.0 中由于已知的错误OSD、DB 或 WAL 部署不支持预先创建的 LVM 磁盘。
从 Red Hat Ceph Storage 6.0 开始支持预先创建的 LVM 磁盘包括 DB 和 WAL 设备。
设置osd自动管理内存
ceph config set osd osd_memory_target_autotune true创建osd
ceph orch daemon add osd node1:/dev/data0/lvol0
ceph orch daemon add osd node1:/dev/data1/lvol0
ceph orch daemon add osd node1:/dev/data2/lvol0ceph orch daemon add osd node2:/dev/data0/lvol0
ceph orch daemon add osd node2:/dev/data1/lvol0
ceph orch daemon add osd node2:/dev/data2/lvol0ceph orch daemon add osd node3:/dev/data0/lvol0
ceph orch daemon add osd node3:/dev/data1/lvol0
ceph orch daemon add osd node3:/dev/data2/lvol0高级
ceph orch apply -i /path/to/osd_spec.yml --dry-runservice_type: osd
service_id: osd_using_paths
placement:hosts:- Node01- Node02
spec:data_devices:paths:- /dev/sdbdb_devices:paths:- /dev/sdcwal_devices:paths:- /dev/sdd部署rgw
$ radosgw-admin realm create --rgw-realmdefault --default
$ radosgw-admin zonegroup create --rgw-zonegroupdefault --master --default
$ radosgw-admin zone create --rgw-zonegroupdefault --rgw-zoneus-east-1 --master --default
$ ceph orch apply rgw default us-east-1 --placement1 mon0查看状态
systemctl status ceph-* --no-pager
docker ps
ceph -s安装awscli工具
apt install awscli -y创建用户
# radosgw-admin user create --uidwuyeliang --display-namewuyeliang --access-keywuyeliang --secret-keywuyeliang创建bucket
$ aws s3 mb s3://wuyeliang-test --endpoint-url http://node1
make_bucket: wuyeliang-test上传文件
$ aws s3 cp /etc/hosts s3://wuyeliang-test --endpoint-url http://node0
upload: ../etc/hosts to s3://wuyeliang-test/hosts卸载集群
cephadm rm-cluster --fsid f64f341c-655d-11eb-8778-fa163e914bcc删除repo
cephadm rm-repo修改参数 允许删除pool
ceph config set mon mon_allow_pool_delete true设置单副本
ceph config set global osd_pool_default_size 1删除pool
ceph osd pool delete ceph-rbd ceph-rbd --yes-i-really-really-mean-it
