pve8.1安装ceph

## pve8.1安装ceph

### PVE源设置

#### 配置系统源
备份系统默认源
mv /etc/apt/sources.list /etc/apt/sources.list.bak

编辑源

vi /etc/apt/sources.list
将以下内容，粘贴进去：
```
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm main contrib non-free non-free-firmware
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-updates main contrib non-free non-free-firmware
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-backports main contrib non-free non-free-firmware
deb https://security.debian.org/debian-security bookworm-security main contrib non-free non-free-firmware
```

#### 配置软件源
vi /etc/apt/sources.list.d/pve-no-subscription.list
将以下内容，粘贴进去：
```
deb https://mirrors.tuna.tsinghua.edu.cn/proxmox/debian/pve bookworm pve-no-subscription
```

屏蔽企业源
vi /etc/apt/sources.list.d/pve-enterprise.list
改为：也就是前面加###
```
###deb https://enterprise.proxmox.com/debian/pve bookworm pve-enterprise
```

禁用ceph源
vi /etc/apt/sources.list.d/ceph.list
改为：也就是前面加###
```
###deb https://enterprise.proxmox.com/debian/ceph-quincy bookworm enterprise
```

执行更新
apt update
apt update && apt dist-upgrade  #更新软件，可不执行

pve网页中点更新-点刷新-再点升级
然后重启PVE
reboot

`如集群已有，只是增加新节点加入，下面步骤前需要先把新节点加入集群后，再安装ceph。`

新部署环境至少需要三台宿主机pve节点，按如下顺序安装
网页中安装ceph
选择非订阅

### 网段划分：
#### pve集群的管理网络：
PVE 管理网络用于管理 PVE 主机和虚拟机，通常是通过 PVE Web UI 或命令行界面进行配置和监控。这个网络通常是一个专用的管理网络，用于主机之间的管理通信。

本例使用，192.168.1.0/24  网关为192.168.1.254

安装pve各个节点系统时，设置的第一块网卡
pve节点1：192.168.1.1    网关192.168.1.254
pve节点2：192.168.1.2    网关192.168.1.254
pve节点3：192.168.1.3    网关192.168.1.254

登陆pve管理页面（https://IP:8006）：
https://192.168.1.1:8006/

#### ceph网络：
公共网络、集群网络，可以使用同一个网段，集群大的话最好分开。

公共网络用于客户端访问 Ceph 存储集群。如果您在 PVE 主机上部署了 Ceph OSD，客户端将使用公共网络与 OSD 进行读取和写入操作。

集群网络（Cluster Network）： 集群网络是用于 Ceph 集群内部通信的网络。它提供了 OSD、Monitor、Metadata Server（MDS）之间的通信通道。集群网络是一个独立的网络，通常是在私有网络或独立的物理网络上建立的。集群网络通常被配置为高速网络，以确保集群内部通信的低延迟和高吞吐量。

ceph平衡数据时走集群网络；
pve中的虚拟机复制文件时，需要公共网络，也用集群网络。

本例使用一个，如10.0.1.0/24 不用设置网关，用的独立交换机，可不连入内网，ceph内部的流量使用这个。

#### 本示例的网络结构：
PVE管理网络 使用独立网卡（第一个网卡）
```
分别设置pve各个节点的第一块网卡
pve节点1：192.168.1.1    网关192.168.1.254
pve节点2：192.168.1.2    网关192.168.1.254
pve节点3：192.168.1.3    网关192.168.1.254
```

公共网络和 集群网络 使用相同的物理网络接口及网段（第二个网卡）
```
分别设置pve各个节点的第二块网卡
pve节点1：10.0.1.1
pve节点2：10.0.1.2
pve节点3：10.0.1.3
```

还可以选择：
PVE管理网络 和 公共网络 使用相同的物理网络接口及网段（第一个网卡）
集群网络 使用独立网卡（第二个网卡）

## 更新集群ceph版本
pve网页中点更新-点刷新-再点升级
然后重启此PVE节点

依次更新，完成后再更新下一台。