共计 3978 个字符，预计需要花费 10 分钟才能阅读完成。
这篇文章将为大家详细讲解有关 ceph 中 rbdmap 遇到问题的案例分析，丸趣 TV 小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。
运行于 centos6.5 的 rbdmap：
[root@mon0 ceph]# cat /etc/init.d/rbdmap
#!/bin/bash
# rbdmap Ceph RBD Mapping
# chkconfig: 2345 70 70
# description: Ceph RBD Mapping
### BEGIN INIT INFO
# Provides: rbdmap
# Required-Start: $network $remote_fs
# Required-Stop: $network $remote_fs
# Should-Start: ceph
# Should-Stop: ceph
# X-Start-Before: $x-display-manager
# Default-Start: 2 3 4 5
# Default-Stop: 0 1 6
# Short-Description: Ceph RBD Mapping
# Description: Ceph RBD Mapping
### END INIT INFO
DESC= RBD Mapping:
RBDMAPFILE= /etc/ceph/rbdmap
. /lib/lsb/init-functions
do_map() {if [ ! -f $RBDMAPFILE ]; then
#log_warning_msg $DESC : No $RBDMAPFILE found.
exit 0
# Read /etc/rbdtab to create non-existant mapping
RET=0
while read DEV PARAMS; do
case $DEV in
|\#*)
continue
*/*)
*)
DEV=rbd/$DEV
esac
#log_action_begin_msg ${DESC} ${DEV}
newrbd=
MAP_RV=
RET_OP=0
OIFS=$IFS
IFS= ,
for PARAM in ${PARAMS[@]}; do
CMDPARAMS= $CMDPARAMS --$(echo $PARAM | tr = )
done
IFS=$OIFS
if [ ! -b /dev/rbd/$DEV ]; then
MAP_RV=$(rbd map $DEV $CMDPARAMS 2 1)
if [ $? -eq 0 ]; then
newrbd= yes
else
RET=$((${RET}+$?))
RET_OP=1
#log_action_end_msg ${RET_OP} ${MAP_RV}
if [ $newrbd ]; then
## Mount new rbd
MNT_RV=
mount --fake /dev/rbd/$DEV /dev/null 2 1 \
MNT_RV=$(mount -v /dev/rbd/$DEV 2 1)
[ -n ${MNT_RV} ] log_action_msg mount: ${MNT_RV}
## post-mapping
if [ -x /etc/ceph/rbd.d/${DEV} ]; then
#log_action_msg RBD Running post-map hook /etc/ceph/rbd.d/${DEV}
/etc/ceph/rbd.d/${DEV} map /dev/rbd/${DEV}
done $RBDMAPFILE
exit ${RET}
do_unmap() {
RET=0
## Unmount and unmap all rbd devices
if ls /dev/rbd[0-9]* /dev/null 2 then
for DEV in /dev/rbd[0-9]*; do
## pre-unmapping
for L in $(find /dev/rbd -type l); do
LL= ${L##/dev/rbd/}
if [ $(readlink -f $L) = ${DEV} ] \
[ -x /etc/ceph/rbd.d/${LL} ]; then
log_action_msg RBD pre-unmap: ${DEV} hook /etc/ceph/rbd.d/${LL}
/etc/ceph/rbd.d/${LL} unmap $L
break
fi
done
#log_action_begin_msg RBD un-mapping: ${DEV}
UMNT_RV=
UMAP_RV=
RET_OP=0
MNT=$(findmnt --mtab --source ${DEV} --noheadings | awk {print $1})
if [ -n ${MNT} ]; then
# log_action_cont_msg un-mounting ${MNT}
UMNT_RV=$(umount ${MNT} 2 1)
if mountpoint -q ${MNT} then
## Un-mounting failed.
RET_OP=1
RET=$((${RET}+1))
else
## Un-mapping.
UMAP_RV=$(rbd unmap $DEV 2 1)
if [ $? -ne 0 ]; then
RET=$((${RET}+$?))
RET_OP=1
fi
#log_action_end_msg ${RET_OP} ${UMAP_RV}
[ -n ${UMNT_RV} ] log_action_msg ${UMNT_RV}
done
exit ${RET}
*)
log_success_msg Usage: rbdmap {start|stop|restart|force-reload|reload|status}
exit 1
esac修改一些在 centos 上没有的 log 后，这个脚本使用起来还是有问题，具体描述如下：
1. 在只 rbd map 一个块得到 /dev/rbd0 后，使用 rbdmap 脚本可以正常 map/unmap /dev/rbd0。
2. 当将 /dev/rbd0 格式化后挂载到一个目录上，再使用 rbdmap，关机的时候系统就会 hang 在 unmounting filesystem 上了，只能强制断电；再开机启动后执行了 rbdmap 的 do_map() 函数，一切正常。
排查后发现，当将 /dev/rbd0 挂载到目录后，rbdmap 就不会执行 do_unmap() 函数，即使函数中加入显式 umount 操作也不会执行。
想了一个折中的办法，在 rbdmap 停止优先级高的服务中的 stop 函数中显式加入 umount 操作，重启时一切正常了。
先来看一下 ceph、rbdmap 的启停顺序：
head rbdmap
#!/bin/bash
# rbdmap Ceph RBD Mapping
# chkconfig: 2345 70 70
# description: Ceph RBD Mapping
head ceph
#!/bin/sh
# Start/stop ceph daemons
# chkconfig: - 60 80
### BEGIN INIT INFO
# Provides: ceph
# Default-Start:
# Default-Stop:
# Required-Start: $remote_fs $named $network $time
# Required-Stop: $remote_fs $named $network $time可以看出 ceph 先于 rbdmap 启动，rbdmap 先于 ceph 停止。如果采用 nfs，使用 rbdmap 映射出的块设备，先看看 nfs 的启停顺序：
head /etc/init.d/nfs
#!/bin/sh
# nfs This shell script takes care of starting and stopping
# the NFS services.
# chkconfig: - 30 60
# description: NFS is a popular protocol for file sharing across networks.
# This service provides NFS server functionality, which is \
# configured via the /etc/exports file.
# probe: truenfs 是这三者中最先启动的，也是最先停止的。所以在 nfs 的 stop 函数中加入 umount 命令：
umount /mnt/nfs
umount /mnt/nfs2在 rbdmap 中加入挂载命令：
mount /dev/rbd0 -o rw,noexec,nodev,noatime,nobarrier,discard /mnt/nfs
mount /dev/rbd1 -o rw,noexec,nodev,noatime,nobarrier,discard /mnt/nfs2/etc/ceph/rbdmap 的设置如下：
backup1/backup.img
backup2/backup.img记得在 ceph-0.80 时测试是没有问题的，到了 0.87.1 出现了上述问题。
关于“ceph 中 rbdmap 遇到问题的案例分析”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。
