ceph运维

### osd正常退出步骤
osd正常退出步骤，先点 out，ceph会平衡数据，平衡数据完成后可stop，然后删除此osd。

检查Ceph状态：
`ceph -s`
或
ceph health detail （ceph健康详细信息）

显示的内容有如下所示：
```
    Rebalancing after osd.86 marked out
      [======================........]

```
其中的 marked out: 表示该OSD被标记为“out”，即它不再参与数据存储和复制。这可能是因为维护、故障或其他原因，导致该OSD被暂时或永久地从服务中移除。
当Ceph存储集群中的一个OSD（Object Storage Device）被标记为"out"时，这意味着该OSD已经从集群的在线状态中移除，并且不再参与新的写入操作

### pve平台的Ceph集群中退出一个OSD的步骤
在pve平台的Ceph集群中，如果你需要安全地退出一个OSD（Object Storage Device），通常应该遵循以下步骤：pve的web网页管理中，单击对应osd的out，等待平衡完成，点stop，再移除。

1. **标记为Out**:
   首先，你应该使用 `ceph osd out {osd_id}` 命令将OSD标记为"out"。这个命令会告诉Ceph集群停止向该OSD发送新的读写请求，并且开始将该OSD上的数据复制到其他OSD上，以保持数据的冗余性。

2. **等待数据复制完成**:
   在OSD被标记为"out"之后，Ceph会自动开始数据复制过程。你需要等待这个过程完成，以确保所有的数据副本都已安全地复制到其他OSD上。可以使用 `ceph pg stat` 或 `ceph -w` 命令来监控数据复制的进度。

3. **停止OSD服务**:
   一旦数据复制完成，你可以安全地停止OSD服务。这可以通过停止运行OSD守护进程的命令来实现，例如使用 `systemctl stop ceph-osd@{osd_id}`（具体命令取决于你的系统和Ceph版本）。

4. **移除OSD**:
   在OSD服务停止后，你可以从Ceph集群中移除该OSD。使用 `ceph osd purge {osd_id}` 命令来彻底移除OSD及其数据。**注意**：这个命令会永久删除OSD上的数据，只有在你确定数据已经安全复制到其他OSD上时才应该执行此操作。
   
### 备注

`ceph -s`
是一个Ceph存储集群管理命令，用于获取当前Ceph集群的状态信息。

该命令将显示Ceph集群中各个组件的状态，包括：

- Health：集群健康状态，显示各种致命和非致命错误的数量和级别；
- Monitors：显示正在运行的Ceph Monitor的数量、位置以及它们之间的状态；
- OSDs：显示正在运行的Ceph OSD的数量、位置以及它们之间的状态；
- PGs：显示正在运行的Ceph PG的数量、状态和OSD分布；
- MDSs：如果启用了Ceph文件系统，则显示正在运行的MDS数量、位置以及它们之间的状态。

该命令可以帮助管理员快速了解Ceph集群的整体状态，并且可以用于监控Ceph集群的健康状态。

`ceph osd df`
显示OSD节点的当前状态和使用情况，下面是显示结果中每列的含义：

- ID：OSD节点的唯一标识符。
- CLASS：OSD节点所属的设备类型（如hdd、ssd）。
- WEIGHT：OSD节点的权重。
- REWEIGHT：OSD节点的重新权重。
- SIZE：OSD节点的总容量。
- RAW USE：OSD节点当前使用的原始存储量。
- DATA：OSD节点当前存储的数据量。
- OMAP：OSD节点当前存储的OMAP（对象映射）数据量。
- META：OSD节点当前存储的元数据量。
- AVAIL：OSD节点可用的存储容量。
- %USE：OSD节点当前使用的存储容量占总容量的百分比。
- VAR：OSD节点的方差。
- PGS：使用该OSD节点的PG（Placement Group）数量。
- STATUS：OSD节点的状态（如up、down）。

通过观察这些值，我们可以了解每个OSD节点的存储使用情况，从而进一步判断哪些节点接近满额或者需要进行处理。

`ceph osd out osd.66` 
命令可以让 osd.66 被操作完成后处于 out 状态，即 OSD 仍然保持运行但不再处理数据。这个命令只是禁用了 OSD 并将相关 PGs 在这个 OSD 上的副本指向集群内其它 OSD，从而达到迁移数据的效果。

`ceph osd stop osd.66`
是一个Ceph存储集群管理命令，用于停止指定的Ceph OSD守护进程。
在执行该命令后，Ceph集群将把ID为66的OSD标记为“停止”，并暂停与该OSD相关的数据和I/O操作。该命令不会删除该OSD的数据，只是将其守护进程停止。

### 在Ceph集群中删除一个OSD的一般步骤如下：

1. 停止与要删除的OSD相关的服务：在删除OSD之前，请确保已停止使用该OSD存储的所有服务和应用程序。

2. 从CRUSH地图中删除该OSD：CRUSH地图定义了存储设备在Ceph集群中的层次结构和位置。使用以下命令从CRUSH地图中删除要删除的OSD：

```
ceph osd crush remove osd.{osd_id}
```

3. 停用该OSD：使用以下命令将要删除的OSD标记为“停用”并停止守护进程：

```
ceph osd down {osd_id}
ceph osd out {osd_id}
```

4. 将该OSD从集群中移除：使用以下命令将要删除的OSD从Ceph集群中移除：

```
ceph osd purge {osd_id} --yes-i-really-mean-it
```

注：要确保删除前没有在使用该OSD的数据服务，以及在删除OSD之前做好全量数据备份，以防意外情况。

请注意，删除一个OSD可能会影响集群的数据可用性和性能，因此在删除之前应该进行充分的计划和备份。建议在非生产环境中进行测试和验证，确保安全地执行删除操作。

### 查询

```
ceph osd lspools：列出Ceph集群中所有的存储池。
ceph osd perf：显示每个OSD的性能指标，包括读写延迟、吞吐量等。
ceph osd pool stats：显示每个存储池的统计信息，比如存储池中的对象数量、使用空间等。
ceph osd blocked-by：显示当前被阻塞的OSD列表，这些OSD可能遇到了一些错误或异常情况。
ceph osd df：查询每个OSD的详细信息，包括存储池的使用量、剩余容量等。可以通过指定存储池名称来获取指定存储池的信息，例如 "ceph osd df ceph-pool-123"。
ceph osd tree：显示整个Ceph集群的逻辑和物理拓扑结构，包括OSD、Mon、PG、存储池等。
ceph config show osd.24：显示指定OSD的配置信息，包括各种参数设置、调整等。
```