共计 8285 个字符，预计需要花费 21 分钟才能阅读完成。
丸趣 TV 小编给大家分享一下 Ceph Jewel 版本三副本写操作的示例分析，希望大家阅读完这篇文章之后都有所收获，下面让我们一起去探讨吧！
一、主 OSD 写处理流程
OSD::ms_fast_dispatch()
|__OSD::dispatch_session_waiting()
|__OSD::dispatch_op_fast()
|__OSD::handle_op()
|__OSD::get_pg_or_queue_for_pg() 找到 OpRequest 中对应的 PG 和 Pool 信息
|__OSD::enqueue_op()
|__PG::queue_op()
|__OSD::ShardedThreadPool::ShardedWQ::queue() 将 PG 和 Op 一起放入队列中
OSD::ShardedOpWQ::_process() 负责处理 OSD::ShardedThreadPool::ShardedWQ 队列中的 Op
|__PGQueueable::RunVis::operator()(const OpRequestRef op)
|__OSD::dequeue_op()
|__ReplicatedPG::do_request()
|__检查当前 PG 是否处于 flush 或 peering 状态，若是则将 op 放入 waiting_for_peered 队列中等待 PG 变成可用状态
|__检查当前 PG 是否处于 Active 状态，若不是则将 op 放入 waiting_for_active 队列中
|__检查当前 PG 是否处于 REPLAY 状态，若是则将 op 放入 waiting_for_active 队列中
|__ReplicatedPG::do_op()
|__RepliatedPG::do_pg_op() 对于请求中包含对 PG 的操作 CEPH_OSD_RMW_FLAG_PGOP
|__根据 op 请求创建 hobject_t 类对象 (head)
|__检查对象名字长度 / 对象 locator key 长度 / 对象 locator 名称空间长度是否大于 osd_max_object_name_len
|__通过 FileStore 检查 object 的 head 是否有效
|__检查 op 请求地址是否在 OSDMap 的 blacklist 中
|__对于写请求，检查写请求的数据大小是否大于 osd_max_write_size 值
|__对于 op 请求的 head 目前不可读，则将 op 放入 waiting_for_unreadable_object 队列中且调用 maybe_kick_recovery() 函数尝试启动 recovery
|__ReplicatedPG::is_degraded_or_backfilling_object() 检查当前 op 请求的 head 是否处于 recovery 或 backfill 状态
|__ReplicatedPG::wait_for_degraded_object() 将当前 op 请求的 head 放入 waiting_for_degraded_object 队列中
|__检查 head 是否在 objects_blocked_on_degraded_snap 队列中，若是则将当前 op 请求的 head 放入 waiting_for_degraded_object 队列中
|__检查 head 是否在 objects_blocked_on_snap_promotion 队列中，若是则将当前 op 请求的 head 放入 waiting_for_blocked_object 队列中
|__检查 head 是否在 objects_blocked_on_cache_full 队列中，若是则将当前 op 请求的 head 放入 waiting_for_cache_not_full 队列中
|__检查 head 的 snapdir 是否不可读，若是则将 head 的 snapdir 放入 waiting_for_unreadable_object 队列中且调用 maybe_kick_recovery() 函数尝试启动 recovery
|__检查 head 的 snapdir 是否处于 recovery 或 backfill 状态，若是则将 head 的 snapdir 放入 waiting_for_degraded_object 队列中
|__对于 op 写请求已经在 PGLog 中，则若已经完成了写操作则直接给客户端返回 MOSDOpReply 消息且设置 CEPH_OSD_FLAG_ACK，否则将 op 放入到 waiting_for_ack 或 waiting_for_ondisk 队列中
|__ReplicatedPG::find_object_context() 得到 object context 信息
|__检查 object context 是否处于 io blocked 状态，若是则将 op 请求放入到 waiting_for_blocked_object 或 waiting_for_degraded_object 队列中
|__ReplicatedPG::execute_ctx()
|__ReplicatedPG::prepare_transaction()
|__创建 MOSDOpReply 消息实例
|__ReplicatedPG::calc_trim_to() 计算 trim PGLog
|__ReplicatedPG::register_on_applied() 注册 on_applied 回调处理函数，对于 op 请求需要 ack 且此时没有向客户端发送过 sent_ack 或 sent_disk，则创建 MOSDOpReply 消息且在消息上添加 CEPH_OSD_FLAG_ACK 标识后将 MOSDOpReply 消息发送给客户端
|__ReplicatedPG::register_on_commit() 注册 on_committed 回调处理函数， 对于 op 请求需要 ack 且此时没有向客户端发送过 sent_disk，则创建 MOSDOpReply 消息且在消息上添加 CEPH_OSD_FLAG_ACK 和 CEPH_OSD_FLAG_ONDISK 标识后将 MOSDOpReply 消息发送给客户端
|__ReplicatedPG::register_on_success() 注册 on_success 回调处理函数
|__ReplicatedPG::register_on_finish() 注册 on_finish 回调处理函数
|__ReplicatedPG::new_repop() 创建 RepGather 类对象
|__ReplicatedPG::issue_repop()
|__创建 C_OSD_RepopCommit 类对象，即：所有副本都完成 commit 后的回调函数类，在该函数中设置 repop- all_committed=true，最后调用 ReplicatedPG::eval_repop()
|__创建 C_OSD_RepopApplied 类对象，即：所有副本都完成 applied 后的回调函数类，在该函数中设置 repop- all_applied=true，最后调用 ReplicatedPG::eval_repop()
|__ReplicatedBackend::submit_transaction()
|__ReplicatedBackend::issue_op()
|__ReplicatedBackend::generate_subop() 创建 MOSDRepOp 消息类对象
|__ReplicatedPG::send_message_osd_cluster()
|__OSD::send_message_osd_cluster() 将 MOSDRepOp 消息发送给副本所在的 OSDs 节点
|__创建 C_OSD_OnOpApplied 类对象，用来处理本地 applied 完成后的回调函数类
|__创建 C_OSD_OnOpCommit 类对象，用来处理本地 commit 完成后的回调函数类
|__RepliatedPG::queue_transactions()
|__ObjectStore::queue_transactions()
|__FileStore::queue_transactions()
|__JournalingObjectStore::_op_journal_tranactions()
|__FileJournal::submit_entry() 将写日志请求提交到日志任务队列中，日志写完后回调 C_JournaledAhead 类对象
|__ReplicatedPG::eval_repop()
|__检查 repop- rep_done 是否完成
|__检查 repop- all_commit，即：是否所有副本都完成日志写入，若完成则回调 on_committed() 回调函数
|__检查 repop- all_applied，即：是否所有副本都完成落盘，若完成则回调 on_applied() 回调函数
|__检查 repop- all_commit 和 repop- all_applied，即：是否所有副本都完成写入操作，若完成则调用 repop- on_success() 回调函数
本地写日志完成后的处理流程
C_JournaledAhead::finish()
|__FileStore::_journaled_ahead()
|__FileStore::queue_op() 将写请求放入到 FileStore 的 op_wq 队列中
|__回调 C_OSD_OnOpCommit 类对象的处理函数
本地数据落盘处理流程
FileStore::_do_op()
|__从 op_wq 队列中读取写请求
|__FileStore::_do_transactions() 执行实际的写数据操作
本地数据落完完成后的处理流程
FileStore::_finish_op()
|__回调 C_OSD_OnOpApplied 类对象的处理函数
二、副本 OSD 处理主 OSD 发送过来的写请求 (消息是 MOSDRepOp，消息类型是 MSG_OSD_REPOP)
OSD::ms_fast_dispatch()
|__OSD::dispatch_session_waiting()
|__OSD::dispatch_op_fast()
|__OSD::handle_replica_op()
|__检查发送方有效性
|__OSD::get_pg_or_queue_for_pg() 找到 OpRequest 中对应的 PG 和 Pool 信息
|__OSD::enqueue_op()
|__PG::queue_op()
|__OSD::ShardedThreadPool::ShardedWQ::queue() 将 PG 和 Op 一起放入队列中
OSD::ShardedOpWQ::_process() 负责处理 OSD::ShardedThreadPool::ShardedWQ 队列中的 Op
|__PGQueueable::RunVis::operator()(const OpRequestRef op)
|__OSD::dequeue_op()
|__ReplicatedPG::do_request()
|__ReplicatedBackend::handle_message()
|__ReplicatedBackend::sub_op_modify()
|__ReplicatedPG::log_operation()
|__PG::append_log() 写 PGLog
|__创建 C_OSD_RepModifyCommit 类实例，用于处理日志 commit 完成后的回调处理
|__创建 C_OSD_RepModifyApply 类实例，用于处理数据落盘完成后的回调处理
|__ReplicatedPG::queue_transactions()
|__FileStore::queue_transactions()
|__JournalingObjectStore::_op_journal_tranactions()
|__FileJournal::submit_entry() 将写日志请求提交到日志任务队列中，日志写完后回调 C_JournaledAhead 类对象
本地写日志完成后的处理流程
C_JournaledAhead::finish()
|__FileStore::_journaled_ahead()
|__FileStore::queue_op() 将写请求放入到 FileStore 的 op_wq 队列中
|__回调 C_OSD_RepModifyCommit 类对象的处理函数
本地数据落盘处理流程
FileStore::_do_op()
|__从 op_wq 队列中读取写请求
|__FileStore::_do_transactions() 执行实际的写数据操作
本地数据落完完成后的处理流程
FileStore::_finish_op()
|__回调 C_OSD_RepModifyApply 类对象的处理函数
三、主 OSD 处理副本 OSDs 发送过来的 MOSDRepOpReply 消息处理流程 (消息类型 MSG_OSD_REPOPREPLY)
OSD::ms_fast_dispatch()
|__OSD::dispatch_session_waiting()
|__OSD::dispatch_op_fast()
|__OSD::handle_replica_op()
|__检查发送方有效性
|__OSD::get_pg_or_queue_for_pg() 找到 OpRequest 中对应的 PG 和 Pool 信息
|__OSD::enqueue_op()
|__PG::queue_op()
|__OSD::ShardedThreadPool::ShardedWQ::queue() 将 PG 和 Op 一起放入队列中
OSD::ShardedOpWQ::_process() 负责处理 OSD::ShardedThreadPool::ShardedWQ 队列中的 Op
|__PGQueueable::RunVis::operator()(const OpRequestRef op)
|__OSD::dequeue_op()
|__ReplicatedPG::do_request()
|__ReplicatedBackend::handle_message()
|__ReplicatedBackend::sub_op_modify_reply()
|__对于设置了 CEPH_OSD_FLAG_ONDISK 标识的消息来说，删除 waiting_for_commit 队列中对应的 OSD ID
|__删除 waiting_for_applied 队列中对应的 OSD ID
|__对于 waiting_for_commit 队列为空，则调用 C_OSD_RepopCommit 类对象的回调函数
|__对于 waiting_for_applied 队列为空，则调用 C_OSD_RepopApplied 类对象的回调函数
四、回调函数类处理
C_OSD_RepModifyCommit 类处理流程
C_OSD_RepModifyCommit::finish()
|__ReplicatedBackend::sub_op_modify_commit()
|__创建 MOSDRepOpReply 消息且设置 CEPH_OSD_FLAG_ONDISK 标识
|__ReplicatedPG::send_message_osd_cluster()
|__OSD::send_message_osd_cluster() 将 MOSDRepOpReply 消息发送回主 OSD
C_OSD_RepModifyApply 类处理流程
C_OSD_RepModifyApply::finish()
|__ReplicatedBackend::sub_op_modify_applied()
|__创建 MOSDRepOpReply 消息且设置 CEPH_OSD_FLAG_ACK 标识（针对没有进行日志处理的情况）
|__ReplicatedPG::send_message_osd_cluster()
|__OSD::send_message_osd_cluster() 将 MOSDRepOpReply 消息发送回主 OSD
C_OSD_OnOpCommit 处理流程
C_OSD_OnOpCommit::finish()
|__ReplicatedBackend::op_commit()
|__删除 waiting_for_commit 数组中对应 OSD ID 信息
|__检查 waiting_for_commit 数组是否为空，若为空则调用 C_OSD_RepopCommit 类对象的回调函数
C_OSD_OnOpApplied 处理流程
C_OSD_OnOpApplied::finish()
|__ReplicatedBackend::op_applied()
|__删除 waiting_for_applied 数组中对应 OSD ID 信息
|__检查 waiting_for_applied 数组是否为空，若为空则调用 C_OSD_RepopApplied 类对象的回调函数
看完了这篇文章，相信你对“Ceph Jewel 版本三副本写操作的示例分析”有了一定的了解，如果想了解更多相关知识，欢迎关注丸趣 TV 行业资讯频道，感谢各位的阅读！
