Cephz资源池pool管理文件系统、块存储系统、对象存储系统
站长
· 阅读数 22
一 . CephFS文件系统MDS接口
-
CephFS（Ceph文件系统）是Ceph存储集群中用于支持分布式文件存储的组件。
-
MDS（Metadata Server）是CephFS的元数据服务器，它负责管理文件系统的元数据，包括目录结构、文件属性和权限等信息。
-
CephFS的MDS接口允许用户通过客户端与MDS服务器进行交互，实现对文件系统的访问和管理。
-
MDS接口提供了一系列命令和API，用于创建、删除、移动和修改文件和目录、设置权限和ACL、查询文件和目录属性等操作。
-
通过MDS接口，用户可以以类似于传统文件系统的方式操作CephFS。
-
用户可以使用标准的文件系统操作命令（比如ls、cp、mv等）或者调用相应的API，通过MDS服务器访问和管理文件系统中的数据。
-
MDS接口还支持并发访问和多客户端操作，确保数据的一致性和安全性。
总的来说，CephFS的MDS接口提供了用户与Ceph存储集群中的元数据服务器进行交互的方式，实现对分布式文件系统的访问和管理。
通过MDS接口，用户可以实现对文件和目录的增删改查操作，并确保数据的可靠性和一致性。
二. 创建CephFS文件系统MDS接口
1. 服务端操作
Step1 在管理节点创建 mds 服务
cd /etc/ceph
ceph-deploy mds create node01 node02 node03
Step2 查看各个节点的 mds 服务
ssh root@node01 systemctl status ceph-mds@node01
ssh root@node02 systemctl status ceph-mds@node02
ssh root@node03 systemctl status ceph-mds@node03
Step3 创建存储池，启用 ceph 文件系统
ceph 文件系统至少需要两个 rados 池，一个用于存储数据，一个用于存储元数据。
此时数据池就类似于文件系统的共享目录。
ceph osd pool create cephfs_data 128 #创建数据Pool
ceph osd pool create cephfs_metadata 128 #创建元数据Pool
#创建 cephfs
#命令格式：ceph fs new <FS_NAME> <CEPHFS_METADATA_NAME> <CEPHFS_DATA_NAME>
ceph fs new mycephfs cephfs_metadata cephfs_data
#启用ceph，元数据Pool在前，数据Pool在后
创建了一个新的 CephFS 文件系统，并为其分配了两个池（pool）来存储元数据和数据。
元数据池（metadata pool）的 pool ID 是 3，数据池（data pool）的 pool ID 是 2。
ceph fs ls #查看cephfs
Step4 查看mds状态
一个up，其余两个待命，目前的工作的是node01上的mds服务
ceph -s
Step5 创建用户
#语法格式
ceph fs authorize <fs_name> client.<client_id> <path-in-cephfs> rw
#账户为 client.zhangsan
#用户 name 为 zhangsan
#zhangsan 对ceph文件系统的 / 根目录（注意不是操作系统的根目录）有读写权限
ceph fs authorize mycephfs client.zhangsan / rw | tee /etc/ceph/zhangsan.keyring
# 账户为 client.lisi
#用户 name 为 lisi
#lisi 对文件系统的 / 根目录只有读权限，对文件系统的根目录的子目录 /test 有读写权限
ceph fs authorize mycephfs client.lisi / r /test rw | tee /etc/ceph/lisi.keyring
3.2 客户端操作
Step1 在客户端创建工作目录
客户端要在 public 网络内。
mkdir /etc/ceph
Step2 向客户端拷贝相关文件
在 ceph 的管理节点给客户端拷贝 ceph 的配置文件 ceph.conf 和账号的秘钥环文件 zhangsan.keyring、lisi.keyring
scp ceph.conf zhangsan.keyring lisi.keyring root@client:/etc/ceph
Step3 在客户端安装 ceph 软件包
cd /opt
wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate
rpm -ivh ceph-release-1-1.el7.noarch.rpm
yum install -y ceph
Step4 在客户端制作秘钥文件
cd /etc/ceph
ceph-authtool -n client.zhangsan -p zhangsan.keyring > zhangsan.key #把 zhangsan 用户的秘钥导出到 zhangsan.keyl
ceph-authtool -n client.lisi -p lisi.keyring > lisi.key #把 lisi 用户的秘钥导出到 lisi.key
Step5 客户端挂载
方式一：基于内核
语法格式：
mount -t ceph node01:6789,node02:6789,node03:6789:/ <本地挂载点目录> -o name=<用户名>,secret=<秘钥>
mount -t ceph node01:6789,node02:6789,node03:6789:/ <本地挂载点目录> -o name=<用户名>,secretfile=<秘钥文件>
示例一：
mkdir -p /data/zhangsan
mount -t ceph node01:6789,node02:6789,node03:6789:/ /data/zhangsan -o name=zhangsan,secretfile=/etc/ceph/zhangsan.key
示例二：
mkdir -p /data/lisi
mount -t ceph node01:6789,node02:6789,node03:6789:/ /data/lisi -o name=lisi,secretfile=/etc/ceph/lisi.key
#验证用户权限
cd /data/lisi
echo 123 > 2.txt
-bash：2.txt：权限不够
echo 123 > test/2.txt
cat test/2.txt
123
示例三：
#停掉 node02 上的 mds 服务
ssh root@node02 "systemctl stop ceph-mds@node02"
ceph -s
#测试客户端的挂载点仍然是可以用的，如果停掉所有的 mds，客户端就不能用了
方式二：基于 fuse 工具
1）将管理员密钥文件ceph.client.admin.keyring拷贝给客户端
scp ceph.client.admin.keyring root@client:/etc/ceph
2）在客户端安装 ceph-fuse
yum install -y ceph-fuse
3）客户端挂载
挂载时，如果挂载点不为空会挂载失败,指定 -o nonempty 可以忽略。
mkdir -p /data/aa
cd /data/aa
ceph-fuse -m node01:6789,node02:6789,node03:6789 /data/aa
本地文件系统访问和llc操作 Ceph 存储集群中的文件和目录
#starting ceph client 表示 Ceph 客户端正在启动，即将连接到 Ceph 存储集群。
#starting fuse 表示 FUSE 客户端正在启动，并准备挂载 CephFS
三 、Ceph 块存储系统 RBD 接口
3.1 RBD接口简介
-
Ceph 块存储系统(RBD)提供了一种与Ceph集群交互的接口，使用户可以在分布式存储环境中使用块设备。
-
RBD接口可以让用户创建、映射、快照、克隆和删除RBD镜像，就像使用本地块设备一样。
-
通过RBD接口，用户可以将Ceph集群中的存储资源虚拟化为块设备，从而为应用程序提供高性能、高可用性和可扩展性。
-
用户可以通过RBD接口操作RBD镜像，实现诸如数据备份、迁移和卷管理等功能。
-
通过这些协议，用户可以通过网络访问和管理RBD镜像，从而实现分布式存储的灵活性和可伸缩性。
3.2 使用 RBD 的两种方式
- 通过
内核模块KRBD将镜像映射为系统本地块设备，通常设置文件一般为：/dev/rbd* - 另一种是通过librbd接口，通常KVM虚拟机使用这种接口。
3.3 镜像管理
3.3.1在服务端上配置RBD
1.在管理服务器创建一个名为rbd-demo 的专门用于 RBD 的存储池
ceph osd pool create rbd-demo 64 64
2、将存储池转换为 RBD 模式
ceph osd pool application enable rbd-demo rbd
3、初始化存储池
rbd pool init -p rbd-demo
# -p 等同于 --pool
4.创建镜像
rbd create -p rbd-demo --image rbd-demo1.img --size 10G
可简写为：
rbd create rbd-demo/rbd-demo1.img --size 10G
3.3.1 查看
#查看存储池下存在哪些镜像
rbd ls -l -p rbd-demo
#查看镜像的详细信息
rbd info -p rbd-demo --image rbd-demo1.img
rbd image 'rbd-demo.img':
size 10 GiB in 2560 objects
#镜像的大小与被分割成的条带数
order 22 (4 MiB objects)
#条带的编号，有效范围是12到25，对应4K到32M，而22代表2的22次方，这样刚好是4M
snapshot_count: 0
id: 5fc98fe1f304 #镜像的ID标识
block_name_prefix: rbd_data.5fc98fe1f304 #名称前缀
format: 2 #使用的镜像格式，默认为2
features: layering, exclusive-lock, object-map, fast-diff, deep-flatten #当前镜像的功能特性
op_features: #可选的功能特性
flags:
3.3.2 修改镜像大小
#修改镜像大小
rbd resize -p rbd-demo --image rbd-demo1.img --size 20G
rbd info -p rbd-demo --image rbd-demo1.img
#使用 resize 调整镜像大小，一般建议只增不减，如果是减少的话需要加选项 --allow-shrink
rbd resize -p rbd-demo --image rbd-demo1.img --size 5G --allow-shrink
3.3.3 删除镜像
#直接删除镜像
rbd rm -p rbd-demo --image rbd-demo2.img
rbd remove rbd-demo/rbd-demo2.img
#推荐使用 trash 命令，这个命令删除是将镜像移动至回收站，如果想找回还可以恢复
rbd trash move rbd-demo/rbd-demo1.img
rbd ls -l -p rbd-demo
rbd trash list -p rbd-demo
5fc98fe1f304 rbd-demo1.img
#还原镜像
rbd trash restore rbd-demo/5fc98fe1f304
rbd ls -l -p rbd-demo
3.4.在客户端使用RBD
本例主要是使用Linux客户端挂载RBD镜像为本地磁盘使用。开始之前需要在所需要客户端节点上面安装ceph-common软件包，因为客户端需要调用rbd命令将RBD镜像映射到本地当作一块普通硬盘使用。并还需要把ceph.conf配置文件和授权keyring文件复制到对应的节点。
1.在管理节点创建并授权一个用户可访问指定的 RBD 存储池 #示例，指定用户标识为client.osd-mount，对另对OSD有所有的权限，对Mon有只读的权限
ceph auth get-or-create client.osd-mount osd "allow * pool=rbd-demo" mon "allow r" > /etc/ceph/ceph.client.osd-mount.keyring
2.修改RBD镜像特性，CentOS7默认情况下只支持layering和striping特性，需要将其它的特性关闭
rbd feature disable rbd-demo/rbd-demo1.img object-map,fast-diff,deep-flatten
3.将用户的keyring文件和ceph.conf文件发送到客户端的/etc/ceph目录下
scp ceph.client.osd-mount.keyring ceph.conf root@client:/etc/ceph
4.在linux客户端操作
安装 ceph-common 软件包
yum install -y ceph-common
5.执行客户端映射
cd /etc/ceph
rbd map rbd-demo/rbd-demo1.img --keyring /etc/ceph/ceph.client.osd-mount.keyring --user osd-mount
#查看映射
rbd showmapped
rbd device list
6.格式化并挂载,就可以正常使用了
mkfs.xfs /dev/rbd0
mkdir -p /data/lzq
mount /dev/rbd0 /data/lzq
7.在线扩容
在管理节点调整镜像的大小
rbd resize rbd-demo/rbd-demo1.img --size 30G
在客户端刷新设备文件
xfs_growfs /dev/rbd0
#刷新xfs文件系统容量
resize2fs /dev/rbd0
#刷新ext4类型文件系统容量
3.5 快照管理
对RBD镜像进行快照，可以保留镜像的状态历史，另外还可以利用快照的分层技术，通过将快照克隆为新的镜像使用。
在客户端写入文件
[root@client ceph]#echo 1111 > /data/lzq/11
[root@client ceph]#echo 222 > /data/lzq/22
[root@client ceph]#echo 233 > /data/lzq/33
3.4.1 创建快照
rbd snap create --pool rbd-demo --image rbd-demo1.img --snap demo1_snap1
#可简写
rbd snap create rbd-demo/rbd-demo1.img@demo1_snap1
3.4.2 删除快照
#删除指定快照：
rbd snap rm rbd-demo/rbd-demo1.img@demo1_snap1
#删除所有快照：
rbd snap purge rbd-demo/rbd-demo1.img
3.4.3 回滚到指定快照
rbd snap rollback rbd-demo/rbd-demo1.img@demo1_snap1
在管理节点操作
rbd snap rollback rbd-demo/rbd-demo1.img@demo1_snap1
在我们的客户端进行重新挂载
rbd map rbd-demo/rbd-demo1.img --keyring /etc/ceph/ceph.client.osd-mount.keyring --user osd-mount
mount /dev/rbd0 /data/lzq
ls /data/lzq #发现数据还原回来了
3.4.4 限制镜像可创建快照数
#限制镜像可创建快照数
rbd snap limit set rbd-demo/rbd-demo1.img --limit 3
#解除限制：
rbd snap limit clear rbd-demo/rbd-demo1.img
3.4.4 快照分层（快照克隆）
快照分层支持用快照的克隆生成新镜像，这种镜像与直接创建的镜像几乎完全一样，支持镜像的所有操作。
唯一不同的是克隆镜像引用了一个只读的上游快照，而且此快照必须要设置保护模式。
1）将上游快照设置为保护模式
rbd snap create rbd-demo/rbd-demo1.img@demo1_snap666
rbd snap protect rbd-demo/rbd-demo1.img@demo1_snap666
2）克隆快照为新的镜像
rbd clone rbd-demo/rbd-demo1.img@demo1_snap666 --dest rbd-demo/rbd-demo666.img
rbd ls -p rbd-demo
3）命令查看克隆完成后快照的子镜像
rbd children rbd-demo/rbd-demo1.img@demo1_snap666
3.4.5 快照展平
通常情况下通过快照克隆而得到的镜像会保留对父快照的引用，这时候不可以删除该父快照，否则会有影响。
如果要删除快照但想保留其子镜像，必须先展平其子镜像，展平的时间取决于镜像的大小
#直接删除
rbd snap rm rbd-demo/rbd-demo1.img@demo1_snap666
#报错 snapshot 'demo1_snap666' is protected from removal.
如果要删除快照但想保留其子镜像，必须先展平其子镜像，展平的时间取决于镜像的大小
展平子镜像
rbd flatten rbd-demo/rbd-demo666.img
取消快照保护
rbd snap unprotect rbd-demo/rbd-demo1.img@demo1_snap666
删除快照
rbd snap rm rbd-demo/rbd-demo1.img@demo1_snap666
rbd ls -l -p rbd-demo
3.4.6镜像的导出导入
卸载客户端挂载，并取消映射
umount /data/bb
rbd unmap rbd-demo/rbd-demo1.img
在管理端操作
导出镜像
rbd export rbd-demo/rbd-demo1.img /opt/rbd-demo1.img
清除镜像下的所有快照，并删除镜像
rbd snap purge rbd-demo/rbd-demo1.img
rbd rm rbd-demo/rbd-demo1.img
rbd ls -l -p rbd-demo
导入镜像
rbd import /opt/rbd-demo1.img rbd-demo/rbd-demo1.img
rbd ls -l -p rbd-demo
四 、创建 Ceph 对象存储系统 RGW 接口
4.1对象存储的概念
对象存储（object storage）是非结构数据的存储方法，对象存储中每一条数据都作为单独的对象存储，拥有唯一的地址来识别数据对象，通常用于云计算环境中。 不同于其他数据存储方法，基于对象的存储不使用目录树。
4.2 部署流程
1.创建 RGW 接口 如果需要使用到类似 S3 或者 Swift 接口时候才需要部署/创建 RadosGW 接口，RadosGW 通常作为对象存储（Object Storage）使用，类于阿里云OSS。
在管理节点创建一个 RGW 守护进程（生产环境下此进程一般需要高可用，后续介绍）
cd /etc/ceph
ceph-deploy rgw create node01
ceph -s
2.要在 Civetweb 上启用SSL，首先需要一个证书，在 rgw 节点生成证书
生成CA证书私钥：
openssl genrsa -out civetweb.key 2048
生成CA证书公钥：
openssl req -new -x509 -key civetweb.key -out civetweb.crt -days 3650 -subj "/CN=192.168.223.101"
将生成的证书合并为pem
cat civetweb.key civetweb.crt > /etc/ceph/civetweb.pem
3.修改我们的ceph配置文件
vim ceph.conf
......
[client.rgw.node01]
rgw_host = node01
rgw_frontends = "civetweb port=80+443s ssl_certificate=/etc/ceph/civetweb.pem num_threads=500 request_timeout_ms=60000"
4.将我们的配置文件同步到node01，node02，node03上面
ceph-deploy --overwrite-conf config push node01 node02 node03
将证书发送给node01
scp civetweb.pem node01:`pwd`
重启服务mgr服务与radogw
systemctl restart ceph-mgr*
systemctl restart ceph-radosgw*
在 rgw 节点上查看端口
netstat -lntp | grep -w 80
netstat -lntp | grep 443
如果发现还是找不到端口就去管理服务器查看健康状态是否为ok
5.创建RadosGW 账户
在管理节点使用 radosgw-admin 命令创建 RadosGW 账户
radosgw-admin user create --uid="rgwuser" --display-name="rgw test user"
radosgw-admin user info --uid="rgwuser"
#这个命令可以之后进行查看
"keys": [
{
"user": "rgwuser",
"access_key": "ZENGGL2AYEIQ6GWMSPIJ",
"secret_key": "EGEUdXCt30EfSin6w5oeZmKZvCoF4sC5p5rj3NwW"
}
],
6.在客户端安装 python3、python3-pip
yum install -y python3 python3-pip
7.安装 boto 模块，用于测试连接 S3
pip3 install boto -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
#使用阿里源安装，官方源太卡
8.测试访问 S3 接口
echo 123123 > /opt/abc.txt
9.将我们的测试脚本拖进来
10.修改我们的这个测试文件
11.创建存储桶bucket01
12 获得一个存储桶并查看一个bucket下的文件
13.上传文件
14.上传字符串
15.删除存储桶
五.OSD 故障模拟与恢复
5.1 模拟 OSD 故障
如果 ceph 集群有上千个 osd，每天坏 2~3 个太正常了，我们可以模拟 down 掉一个 osd
#如果 osd 守护进程正常运行，down 的 osd 会很快自恢复正常，所以需要先关闭守护进程
在node1上操作
ssh root@node01 systemctl stop ceph-osd@0
#down 掉 osd
ceph osd down 0
ceph osd tree
5.2 故障恢复
#方法一
ceph osd out osd.0
#将 osd.0 移出集群，集群会开始自动同步数据
ceph osd crush remove osd.0
#将 osd.0 移除 crushmap
#删除守护进程对应的账户信息
ceph auth rm osd.0
ceph auth list
#删掉 osd.0
ceph osd rm osd.0
ceph osd stat
ceph -s
#方法二
#将 osd.0剥离出Ceph集群
ceph osd out osd.0
#彻底从 Ceph 存储集群中永久删除 osd.0
ceph osd purge osd.0 --yes-i-really-mean-it
5.3 把原来坏掉的 osd 修复后重新加入集群
#在 osd 节点创建 osd，无需指定名，会按序号自动生成
cd /etc/ceph
ceph osd create
#创建账户
ceph-authtool --create-keyring /etc/ceph/ceph.osd.0.keyring --gen-key -n osd.0 --cap mon 'allow profile osd' --cap mgr 'allow profile osd' --cap osd 'allow *'
#导入新的账户秘钥
ceph auth import -i /etc/ceph/ceph.osd.0.keyring
ceph auth list
ceph auth get-or-create osd.0 -o /var/lib/ceph/osd/ceph-0/keyring
#更新对应的 osd 文件夹中的密钥环文件
ceph osd crush add osd.0 1.000 host=node01 #1.000 代表权重
#加入 crushmap
ceph osd in osd.0
#加入集群
ceph osd tree
5.4 重启守护进程，观察故障是否恢复
systemctl restart ceph-osd@0
#重启 osd 守护进程
ceph osd tree #稍等片刻后 osd 状态为 up
5.5 重启失败的解决方案（补充）
#报错
Job for ceph-osd@0.service failed because start of the service was attempted too often. See "systemctl status ceph-osd@0.service" and "journalctl -xe" for details.
To force a start use "systemctl reset-failed ceph-osd@0.service" followed by "systemctl start ceph-osd@0.service" again.
#运行
systemctl reset-failed ceph-osd@0.service && systemctl restart ceph-osd@0.service
转载自:https://juejin.cn/post/7301910992321642548