建设公寓租房信息网站,网站 会员系统 织梦,韩国网站购物,桂林 网站 建设目录 目的步骤规格步骤ceph部署前准备工作安装部署ceph集群ceph集群添加node与osdceph集群一些操作组件服务操作集群进程操作 目的 使用ceph官网的cephadm无法正常安装#xff0c;会报错ERROR: Distro openeuler version 22.03 not supported 在openEuler上实现以cephadm安装部… 目录 目的步骤规格步骤ceph部署前准备工作安装部署ceph集群ceph集群添加node与osdceph集群一些操作组件服务操作集群进程操作 目的 使用ceph官网的cephadm无法正常安装会报错ERROR: Distro openeuler version 22.03 not supported 在openEuler上实现以cephadm安装部署ceph集群。
步骤
规格 所有主机均为openEuler22.03 LTS SP3 虚拟机名配置IP 地址主机名角色磁盘配置node12C4G192.168.100.81node1.example.comMon、mgr、osd引导节点系统盘 20GB, OSD盘 10GB x 3node22C4G192.168.100.82node2.example.comMon、mgr、osd系统盘 20GB, OSD盘 10GB x 3node32C4G192.168.100.83node3.example.comMon、osd复用客户端系统盘 20GB, OSD盘 10GB x 3node42C4G192.168.100.84node4.example.comosd 扩容备用节点系统盘 20GB, OSD盘 10GB x 3
PS1: 以上虚拟机均需要配置三块硬盘每块硬盘分别为系统盘20GB和三块OSD盘10GB每块每个节点共四块硬盘。 PS2: 该实验仅需node1~3 三台主机即可。
步骤
ceph部署前准备工作
设置主机名
# 所有主机分别设置
hostnamectl set-hostname node1.example.com
hostnamectl set-hostname node2.example.com
hostnamectl set-hostname node3.example.com设置ip
#node1nmcli con de ens33nmcli con add type ethernet ifname ens33 con-name ens33 ipv4.addresses 192.168.100.81/24 ipv4.gateway 192.168.100.2 ipv4.dns 192.168.100.2 ipv4.method manual autoconnect yes#node2nmcli con de ens33nmcli con add type ethernet ifname ens33 con-name ens33 ipv4.addresses 192.168.100.82/24 ipv4.gateway 192.168.100.2 ipv4.dns 192.168.100.2 ipv4.method manual autoconnect yes#node1nmcli con de ens33nmcli con add type ethernet ifname ens33 con-name ens33 ipv4.addresses 192.168.100.83/24 ipv4.gateway 192.168.100.2 ipv4.dns 192.168.100.2 ipv4.method manual autoconnect yes设置hosts文件
# node1
# 设置hosts文件将三台主机的ip和主机名加入
cat EOF /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.100.81 node1.example.com
192.168.100.82 node2.example.com
192.168.100.83 node3.example.com
EOF# scp传输到另外两台主机scp /etc/hosts node2.example.com:/etc/scp /etc/hosts node3.example.com:/etc/关闭防火墙和selinux
# 所有主机
systemctl disable --now firewalld
sed -i s|enforcing|disabled|g /etc/sysconfig/selinux设置时间同步
# 所有主机
echo server ntp.aliyun.com iburst /etc/chrony.conf
systemctl restart chronyd.service
systemctl enable chronyd --now安装podman
# 所有主机
yum install -y podman重启
安装部署ceph集群
安装openeuler专用cephadm
# 引导节点node1
yum install git -y
git clone https://gitee.com/yftyxa/openeuler-cephadm.git
cp openeuler-cephadm/cephadm /usr/sbin chmod ax /usr/sbin/cephadm添加ceph源
# 所有主机均需
cat /etc/yum.repos.d/ceph.repo EOF
[ceph]
nameceph x86_64
baseurlhttps://repo.huaweicloud.com/ceph/rpm-pacific/el8/x86_64
enabled1
gpgcheck0
[ceph-noarch]
nameceph noarch
baseurlhttps://repo.huaweicloud.com/ceph/rpm-pacific/el8/noarch
enabled1
gpgcheck0
[ceph-source]
nameceph SRPMS
baseurlhttps://repo.huaweicloud.com/ceph/rpm-pacific/el8/SRPMS
enabled1
gpgcheck0
EOF初始化ceph集群
# 引导节点node1
# mon-ip即web页面访问IPuser和password就是访问的账户和密码
cephadm bootstrap --mon-ip 192.168.100.81 --allow-fqdn-hostname --initial-dashboard-user admin --initial-dashboard-password Huawei123 --dashboard-password-noupdate看到下图的url证明安装成功
ceph集群添加node与osd
创建ceph shellceph集群的管理容器
# node1cephadm shell# 也可以安装ceph-common 不用每次cephadm shellyum install ceph-common查看状态
[ceph: rootnode1 /]# ceph -scluster:id: b4982244-b181-11ef-9973-000c295bb5dchealth: HEALTH_WARNOSD count 0 osd_pool_default_size 3services:mon: 1 daemons, quorum node1.example.com (age 6m)mgr: node1.example.com.ehhbco(active, since 2m)osd: 0 osds: 0 up, 0 indata:pools: 0 pools, 0 pgsobjects: 0 objects, 0 Busage: 0 B used, 0 B / 0 B availpgs:progress:Updating grafana deployment (1 - 1) (0s)[............................]生成ceph公钥并给到其他节点
# node1
ceph cephadm get-pub-key ~/ceph.pub
ssh-copy-id -f -i ~/ceph.pub rootnode2.example.com
ssh-copy-id -f -i ~/ceph.pub rootnode3.example.com添加节点进入集群
[ceph: rootnode1 /]# ceph orch host add node2.example.com
Added host node2.example.com with addr 192.168.100.82
[ceph: rootnode1 /]# ceph orch host add node3.example.com
Added host node3.example.com with addr 192.168.100.834. 查看状态
# 查看主机信息
[ceph: rootnode1 /]# ceph orch host ls
HOST ADDR LABELS STATUS
主机名 地址 标签 状态不正常才会有显示
node1.example.com 192.168.100.81 _admin
node2.example.com 192.168.100.82
node3.example.com 192.168.100.83
3 hosts in cluster给主机打标签
# ceph shell
[ceph: rootnode1 /]# ceph orch host label add node2.example.com mgr_test
Added label mgr_test to host node2.example.com
[ceph: rootnode1 /]# ceph orch host label add node2.example.com _admin
Added label _admin to host node2.example.com
[ceph: rootnode1 /]# ceph orch host label add node3.example.com _admin
Added label _admin to host node3.example.com# 查看状态
[ceph: rootnode1 /]# ceph orch host ls
HOST ADDR LABELS STATUS
node1.example.com 192.168.100.81 _admin
node2.example.com 192.168.100.82 mgr_test _admin
node3.example.com 192.168.100.83 _admin
3 hosts in cluster
添加osd ceph orch daemon add osd 主机名:/path # 手动添加某一块硬盘为osd
ceph orch daemon add osd node1.example.com:/dev/sdb
# 添加所有空闲硬盘为osd
ceph orch apply osd --all-available-devices查看osd
[ceph: rootnode1 /]# ceph osd ls
0
1
2
3
4
5
6
7
8ceph集群一些操作
组件服务操作
查询组件服务状态
[ceph: rootnode1 /]# ceph orch ls
NAME PORTS RUNNING REFRESHED AGE PLACEMENT
服务名 IP加端口 运行状态/数量 刷新 运行 部署方式
alertmanager ?:9093,9094 1/1 23s ago 17m count:1
crash 3/3 26s ago 17m *
grafana ?:3000 1/1 23s ago 17m count:1
mgr 2/2 26s ago 17m count:2
mon 3/5 26s ago 17m count:5
node-exporter ?:9100 3/3 26s ago 17m *
prometheus ?:9095 1/1 23s ago 17m count:1count:1 该服务组件只在某一个节点上进行部署 ‘*’ 表示该服务在所有节点上部署 主机名 表示仅在特定主机上部署 标签名: 表示仅在指定标签主机上部署 关闭组件自扩展 为什么加入主机到集群后ceph的组件会自动部署到主机上 CEPH集群有节点自扩展能力会自动部署集群所需要的组件数量 ceph orch apply 组件名 --unmanagedtrue # ceph shell
ceph orch apply mon --unmanagedtrue部署组件编排 ceph orch apply 组件名 xxxxx # 指定部署3个mgr节点
ceph orch apply mgr --placement3
# 可以指定标签
[ceph: rootnode1 /]# ceph orch apply mon --placementlabel:_admin
Scheduled mon update...
部署组件手动 ceph orch daemon add 组件名 主机名 ceph orch daemon add mgr node3.example.com集群进程操作
查看进程
ceph orch ps启动进程
ceph orch start alertmanager #将所有节点上的服务启动起来
ceph orch daemon start node-exporter.node1 #启动指定节点上的服务进程
停止进程
ceph orch stop alertmanager #将所有节点上的进程停止
ceph orch daemon stop node-exporter.node1 #停止指定节点的指定进程
重启进程
ceph orch restart alertmanager #重启一组服务
ceph orch daemon restart alertmanager #重启单个进程服务
删除进程
ceph orch daemon rm node-exporter.node3 #删除指定节点的指定进程
ceph orch rm node-exporter #删除一组服务在所有节点上删除该服务
# 需要添加回来请参考上一步的部署服务
