1.Ceph概述1.1背景Ceph是一个去中心化的分布式存储系统，提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区，遵循LGPL协议（LESSERGENERALPUBLICLICENSE的简写，中文译为“较宽松公共许可证”）。在经过了数年的发展之后，目前已得到众多云计算厂商（OpenStack、CloudStack、OpenNebula、Hadoop）的支持并被广泛应用。1.2介绍Ceph是一个可靠、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备和文件系统服

文章目录1.RadosGW对象存储核心概念1.1.什么是RadosGW对象存储1.2.RGW对象存储架构1.3.RGW对象存储的特点1.4.对象存储中Bucket的特性1.4.不同接口类型的对象存储访问对比2.在集群中部署RadosGW对象存储组件2.1.部署RGW组件2.2.集群中部署完RGW组件后观察集群的信息状态2.3.修改RGW对象存储的默认监听端口1.RadosGW对象存储核心概念RADOSGW对象存储官方文档：https://docs.ceph.com/en/pacific/radosgw/1.1.什么是RadosGW对象存储CephRadosGW是对象存储的一种实现方式，简称RG

文章目录1.RadosGW对象存储核心概念1.1.什么是RadosGW对象存储1.2.RGW对象存储架构1.3.RGW对象存储的特点1.4.对象存储中Bucket的特性1.4.不同接口类型的对象存储访问对比2.在集群中部署RadosGW对象存储组件2.1.部署RGW组件2.2.集群中部署完RGW组件后观察集群的信息状态2.3.修改RGW对象存储的默认监听端口1.RadosGW对象存储核心概念RADOSGW对象存储官方文档：https://docs.ceph.com/en/pacific/radosgw/1.1.什么是RadosGW对象存储CephRadosGW是对象存储的一种实现方式，简称RG

一、pg相关1、xxobjectsunfound-问题描述：dmesg查看磁盘发现读写异常，部分对象损坏（处于objectsnofound状态），集群处于ERR状态root@node1101:~#cephhealthdetailHEALTH_ERRnoscrub,nodeep-scrubflag(s)set;13/409798objectsunfound(0.003%)；17stuckrequestsareblocked>4096sec.Implicatedosds38OSDMAP_FLAGSnoscrub,nodeep-scrubflag(s)setOBJECT_UNFOUND13/4097

一、pg相关1、xxobjectsunfound-问题描述：dmesg查看磁盘发现读写异常，部分对象损坏（处于objectsnofound状态），集群处于ERR状态root@node1101:~#cephhealthdetailHEALTH_ERRnoscrub,nodeep-scrubflag(s)set;13/409798objectsunfound(0.003%)；17stuckrequestsareblocked>4096sec.Implicatedosds38OSDMAP_FLAGSnoscrub,nodeep-scrubflag(s)setOBJECT_UNFOUND13/4097

​1、前言本文主要描述的是在一次意外中，我们的Proxmox/Ceph集群上丢失了36个磁盘中的33个，这对我们而言，完全是一场灾难！下文将会相信描述该事件，同时也包含了如何修复以及回溯该严重故障。到2020年底，我们终于有了一个长期未完成的维护窗口，以便为客户进行系统升级。在此维护窗口期间（涉及服务器系统的重新启动），涉及的Ceph群集意外进入关机状态。本来计划在晚上早些时候做几个小时的检查清单工作，结果却成了一个紧急情况；让我们称之为噩梦吧（不仅仅是因为它让我们多熬了几个通宵）。因为我们从RCA（故障回溯）中学到了一些东西，所以值得与其他人分享。但首先，让我们退一步，搞清楚我们这次事件的来

​1、前言本文主要描述的是在一次意外中，我们的Proxmox/Ceph集群上丢失了36个磁盘中的33个，这对我们而言，完全是一场灾难！下文将会相信描述该事件，同时也包含了如何修复以及回溯该严重故障。到2020年底，我们终于有了一个长期未完成的维护窗口，以便为客户进行系统升级。在此维护窗口期间（涉及服务器系统的重新启动），涉及的Ceph群集意外进入关机状态。本来计划在晚上早些时候做几个小时的检查清单工作，结果却成了一个紧急情况；让我们称之为噩梦吧（不仅仅是因为它让我们多熬了几个通宵）。因为我们从RCA（故障回溯）中学到了一些东西，所以值得与其他人分享。但首先，让我们退一步，搞清楚我们这次事件的来

​ 背景随着物理硬件的不断发展，存储软件所使用的硬件的情况也一直在不断变化。一方面，内存和IO技术一直在快速发展，硬件的性能在极速增加。在最初设计Ceph的时候，通常情况下，Ceph都是被部署到机械硬盘上，能够提供数百IOPS的读写和数十G的磁盘容量。但是，目前最新的NVMe设备可以提供数百万的IOPS读写，并支持TB级的磁盘容量。DRAM的容量在大约20年的时间内增加了128倍。对于网络IO来说，网卡设备现在能够提供超过400Gbps的速度，而几年前只有10Gbps。另一方面，在大约十年的时间内，CPU频率和CPU内核的单线程性能一直处于稳定的状态，增长不明显。相比之下逻辑核心的数量随着晶体

​ 背景随着物理硬件的不断发展，存储软件所使用的硬件的情况也一直在不断变化。一方面，内存和IO技术一直在快速发展，硬件的性能在极速增加。在最初设计Ceph的时候，通常情况下，Ceph都是被部署到机械硬盘上，能够提供数百IOPS的读写和数十G的磁盘容量。但是，目前最新的NVMe设备可以提供数百万的IOPS读写，并支持TB级的磁盘容量。DRAM的容量在大约20年的时间内增加了128倍。对于网络IO来说，网卡设备现在能够提供超过400Gbps的速度，而几年前只有10Gbps。另一方面，在大约十年的时间内，CPU频率和CPU内核的单线程性能一直处于稳定的状态，增长不明显。相比之下逻辑核心的数量随着晶体

　　前文我们了解了Ceph集群cephx认证和授权相关话题，回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16748149.html；今天我们来聊一聊ceph集群的RBD接口使用相关话题；　　RBD是ceph集群向外提供存储服务的一种接口，该接口是基于ceph底层存储集群libradosapi构建的接口；即RBD是构建在librados之上向外提供存储服务的；对于客户端来说RBD主要是将rados集群之上的某个存储池里的空间通过librados抽象为一块或多块独立image，这些Image在客户端看来就是一块块硬盘；那对于RBD抽象出来的硬盘，客户端该怎