pve中ceph配置

创建ceph pool池
PG Autoscale Mode  PG自动缩放模式选“on”就是开启自动模式。

手动设置可参考：

若少于5个OSD， 设置pg_num为128。

5~10个OSD，设置pg_num为512。

10~50个OSD，设置pg_num为4096。

创建好后每个服务器节点都会出现创建的ceph pool池。

ceph pool中的虚拟机可以设置HA高可用,
需要先将虚拟机的iso删除，否则不会迁移。

数据中心--HA--添加虚拟机的效果，物理节点宕机后其中的虚拟机会在其它机器自动开机（相当于重启）

参考：[proxmox ve结合ceph，组建高可用虚拟化平台，故障自动迁移](https://baijiahao.baidu.com/s?id=1739658419070675631&wfr=spider&for=pc "proxmox ve结合ceph，组建高可用虚拟化平台，故障自动迁移")

## ceph
```
查看状态
ceph health

查看ceph的实时运行状态
ceph -w

检查信息状态信息
ceph -s

查看ceph存储空间
ceph df 
```

## osd

```
生产过程中一个由于在集群中存在一个性能不好的磁盘，导致整个集群性能下降的case。
ceph osd perf

查看ceph osd运行状态
ceph osd stat

查看osd映射信息
ceph osd dump

查看osd的目录树
ceph osd tree

down掉一个osd硬盘
ceph osd down 0   #down掉osd.0节点

删除一个osd
ceph osd rm osd.1
在集群中删除一个osd 硬盘 crush map
ceph osd crush rm osd.0

把一个osd节点逐出集群
[root@admin ~]# ceph osd out osd.3

把逐出的osd加入集群
[root@admin ~]# ceph osd in osd.3

删除 osd 节点相关的权限信息
# ceph auth del osd.{osd_id}

所有ceph的服务开启、关闭等
systemctl start ceph.target
systemctl start ceph.target

按照服务分类开启、关闭等
systemctl start ceph-mon.target

systemctl start ceph-mgr.target

systemctl start ceph.osd.target

更加细粒度的服务开启、关闭
systemctl start ceph-osd@{osd Id}
```

开启虚拟机IO thread，有效降低CPU负载
开启虚拟机IO线程可以提高虚拟机的IO性能。这是因为虚拟机IO线程可以帮助管理虚拟机的输入输出操作，并且可以将数据请求缓存、排序和合并，从而减少IO操作的次数和时间开销。此外，虚拟机IO线程还可以通过优化磁盘访问方式来降低磁盘的负载，提高虚拟机的整体性能。

异步IO：
io_uring
native
threads

io_uring是Linux内核提供的一种异步IO接口，可以显著提高IO性能和效率。

native在计算机科学中一般指原生的、本地的，用来描述与特定平台或语言密切相关的性质、特性或实现方式。在虚拟机语境下，native一词可能指与底层硬件或操作系统直接交互的代码或功能，例如使用本地指令集进行计算。

threads指的是线程，是操作系统调度的基本执行单位，可以独立执行一组指令。在虚拟机中，线程常被用于并发执行任务，通过多线程可以提高程序的并发性和性能。线程常用于处理异步任务、多核处理和并行计算等场景。