pve中测试ceph集群的IOPS和带宽

这是一个写入测试，仅测试单个节点对Ceph集群的写入性能。

## 方法一：
在 PVE 中，您可以使用 `rados bench` 命令来对 Ceph 集群的 OSD 进行性能测试。以下是在 PVE 中使用 `rados bench` 命令对 OSD 进行测试的示例：

1. 执行以下命令来执行 rados bench：

```
$ rados bench -p <pool-name> <seconds> <operation-type>
```

- `<pool-name>`: 要测试的 Ceph 存储池的名称。
- `<seconds>`: 测试的持续时间（单位为秒）。
- `<operation-type>`: 操作类型，可选的操作类型有 `write`、`rand`、`seq`、`cleanup`。分别表示写入测试、随机读写测试、顺序读写测试以及结果清理操作。

例如，如果要对 `rbd` 存储池进行 30 秒的写入测试，请运行以下命令：

```
$ rados bench -p rbd 30 write
```

请注意，这只是一个基本示例，您可以根据自己的需求和测试环境，使用不同的操作类型、块大小、线程数等参数来进行测试。还要注意，您应该在进行性能测试时确保 Ceph 集群处于稳定状态，并且根据需要进行优化和调整。

对 ceph pool池进行持续写的性能测试：
rados bench -p ceph-pool-ssd 30 write
默认是模拟16个客户端并发写入对象到Ceph存储中名为"ceph-pool-ssd"的ceph pool池，以评估系统的写入性能。
命令行中的"30"表示测试将持续30秒。
2. 查看测试结果：

`rados bench` 测试结束后，将输出测试结果，如最大、最小、平均延迟、每秒操作数等性能指标。您可以根据输出的结果来评估 OSD 的性能。

```
root@pve10:~# rados bench -p ceph-pool-ssd 30 write
hints = 1
Maintaining 16 concurrent writes of 4194304 bytes to objects of size 4194304 for up to 30 seconds or 0 objects
Object prefix: benchmark_data_pve10_214215  //对象前缀：benchmark_data_pve10_214215
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
    0       0         0         0         0         0           -           0
    1      16        28        12   47.9974        48   0.0906955    0.140966
    2      16        57        41    81.993       116   0.0996488    0.490661
    3      16        57        41   54.6609         0           -    0.490661
    4      16       156       140   139.969       198    0.176169    0.454395
    5      16       249       233   186.363       372    0.164298    0.339648
    6      16       264       248   165.303        60   0.0297247    0.326568
	
```

```
Total time run: 测试的总运行时间，单位为秒。
Total writes made: 测试期间执行的写入操作次数。
Write size: 每个写入操作的块大小（字节）。
Object size: 测试中使用的对象大小（字节）。
Bandwidth (MB/sec): 平均带宽，表示在测试期间的平均数据传输速率，单位为 MB/秒。
Stddev Bandwidth: 带宽的标准偏差，表示带宽波动的程度。
Max bandwidth (MB/sec): 最大带宽，表示在测试期间的最大数据传输速率，单位为 MB/秒。
Min bandwidth (MB/sec): 最小带宽，表示在测试期间的最小数据传输速率，单位为 MB/秒。
Average IOPS: 平均每秒操作数（I/O Operations Per Second），表示在测试期间的平均每秒操作次数。
Stddev IOPS: IOPS 的标准偏差，表示操作次数波动的程度。
Max IOPS: 最大读写操作数，表示在测试期间的最大每秒操作次数。
Min IOPS: 最小读写操作数，表示在测试期间的最小每秒操作次数。
Average Latency(s): 平均延迟时间，表示在测试期间的平均操作延迟时间。
Stddev Latency(s): 延迟时间的标准偏差，表示延迟波动的程度。
Max latency(s): 最大延迟时间，表示在测试期间的最大操作延迟时间。
Min latency(s): 最小延迟时间，表示在测试期间的最小操作延迟时间。
Cleaning up: 清理操作，删除测试过程中创建的对象的过程。
Removed objects: 已删除的对象数量。
Clean up completed and total clean up time: 清理操作完成的总时间。
```

### 删除写入的测试
在Ceph中，当你运行`rados bench`命令时，它会在指定的池中写入数据，这些数据将会占用存储空间。释放这些空间并不是自动处理的，而是需要手动释放。

首先，你可以使用`rados rm`命令删除`rados bench`测试生成的对象。

如果你只想删除`rados bench`测试生成的对象，你可以添加`--prefix`选项来限制删除的对象仅限于特定的前缀。
假设在运行测试时你指定了前缀`test_`，那么可以使用以下命令仅删除这些对象：

（--prefix=参数 不好用，下文中的grep可以）
rados -p ceph-pool-ssd ls --prefix=test_ | xargs -n 1 rados -p ceph-pool-ssd rm
这将列出所有以`test_`开头的对象，并使用`rados rm`命令来删除它们。

root@pve10:~#` rados -p ceph-pool-ssd ls | grep  benchmark_data_pve10_214215 | xargs -n 1 rados -p ceph-pool-ssd rm`

列出 所有对象：
rados -p ceph-pool-ssd ls

```
要删除池中的所有对象，可以使用以下命令：
rados -p ceph-pool-ssd rm * --yes-i-really-really-mean-it
这将删除指定池中的所有对象，从而释放由测试占用的空间。
```

接下来，你需要使用Ceph中的`pg scrub`功能来清理已删除对象的废弃数据。执行以下命令：

```
ceph pg scrub 0.0
```

其中`0.0`是你要清理的PG号。你可以使用`ceph pg dump`命令来获取当前池中PG的列表和其号码。

等待`pg scrub`过程完成后，它将释放已删除对象占用的废弃空间。请注意，在多个PG的情况下，你需要为每个PG执行相应的`pg scrub`命令。

完成上述步骤后，Ceph池中的空间将被释放，被`rados bench`测试占用的空间将彻底清理。

请注意，如果你的测试在指定的前缀之外创建了其他对象，那么这些对象仍然存在并占用存储空间。在这种情况下，你需要根据需要手动删除这些对象，并进行废弃数据的清理。

## 方法二：

1.在pve的ceph pool 中创建一个RBD块设备

您可以使用以下命令创建RBD块设备：
`rbd create {pool_name}/{rbd_image} --size {image_size}`
其中，{pool_name}是Ceph存储池的名称，{rbd_image}是要创建的RBD映像的名称，{image_size}是要创建的映像的大小。
例如：`rbd create ceph-pool-data/rbd-test --size 10G`

2.使用rbd bench命令进行写入测试

`rbd bench --io-type write --io-size {io_size} {pool_name}/{rbd_image}`
其中，{io_size}是每个I/O操作的大小，{pool_name}/{rbd_image}是要进行测试的RBD映像的名称。
例如，要使用io_size为4k测试名为“myblock”的RBD映像的写入性能，可以使用以下命令：
rbd bench --io-type write --io-size 4k ceph-pool-data/rbd-test

`rbd bench --io-type write --io-size 4K --io-threads 30  --io-total 2000M ceph-pool-data/rbd-test`
`--io-threads`  并发线程
`--io-total`  总大小

### 删除RBD块设备
要删除RBD镜像，您可以使用以下命令：

```
rbd rm ceph-pool-data/rbd-test
```

这将从Ceph存储集群中删除名为"rbd-test"的RBD镜像。请注意，这将无法恢复并且将立即删除镜像及其所有数据，因此请确保您已备份所有需要保存的数据。