Proxmox創(chuàng)建集群組ceph需要至少三個(gè)節(jié)點(diǎn)，本次實(shí)驗(yàn)為三臺(tái)服務(wù)器，每臺(tái)服務(wù)器系統(tǒng)為proxmox6.4，數(shù)據(jù)盤(pán)為各三塊2.4t機(jī)械盤(pán)。

一、更換系統(tǒng)源

為每臺(tái)服務(wù)器安裝好系統(tǒng)后，首先都需要更新update和upgrade，自帶的更新源速度很慢，所以需要改成中文源。

1.更換阿里源

Shell命令行下輸入nano /etc/apt/sources.list

進(jìn)入編輯界面

源地址如下：

deb https://mirrors.aliyun.com/debian buster main contrib non-free

deb https://mirrors.aliyun.com/debian buster-updates main contrib non-free

deb https://mirrors.aliyun.com/debian-security buster/updates main contrib non-free

deb https://mirrors.ustc.edu.cn/proxmox/debian/pve buster pve-no-subscription

deb https://mirrors.ustc.edu.cn/proxmox/debian/ceph-octopus/ buster main

然后按ctrl+o保存修改：

然后如上圖所示，點(diǎn)擊回車(chē)鍵。然后按ctrl+x退出編輯界面。

2.去除企業(yè)源，方法同理：

輸入nano /etc/apt/sources.list.d/pve-enterprise.list

注釋掉企業(yè)源，ctrl+o保存，然后回車(chē)，最后ctrl+x退出。

3. 刪除該目錄下所有文件。

輸入rm -rf /etc/apt/sources.list.d/* （注意目錄別刪除了）

4.更新update和upgrade

輸入apt update && apt upgrade，更新源和包

如下提示輸入y，等待安裝完成

二、建立集群

1.建立集群

安裝成功之后，首先需要建立集群，首先用節(jié)點(diǎn)1創(chuàng)建集群：

提示創(chuàng)建成功。

然后查看加入信息

2.加入集群

將節(jié)點(diǎn)2和3分別加入節(jié)點(diǎn)1創(chuàng)建的集群。

成功加入集群。

三、安裝配置ceph

1.為每個(gè)節(jié)點(diǎn)安裝ceph

每個(gè)節(jié)點(diǎn)進(jìn)入命令行，然后執(zhí)行pveceph install 就可以了。

最后提示成功即可

2.為每個(gè)節(jié)點(diǎn)添加osd磁盤(pán)

命令行輸入 fdisk -l，查看所有盤(pán)符，

pveceph osd create /dev/sd[X]------X對(duì)應(yīng)的盤(pán)符

例如pveceph osd create /dev/sdb為將sdb掛載成osd盤(pán)。

將各個(gè)節(jié)點(diǎn)osd盤(pán)創(chuàng)建好。

如果提示報(bào)錯(cuò)，說(shuō)明磁盤(pán)在使用，

需要輸入如下命令

ceph-volume lvm zap /dev/sd[X]-----X對(duì)應(yīng)的盤(pán)符

如果還是報(bào)錯(cuò)，需要

先vgdisplay ，查看所有vg卷組，把非系統(tǒng)卷組全部移除，

命令如下

用vgremove移除對(duì)應(yīng)的卷組

同理移除全部需要移除的vg后，需要pvdisplay查看所有被占用的物理卷

同樣pvremove移除對(duì)應(yīng)的物理卷

移除之后，reboot重啟節(jié)點(diǎn)。

3.分別把對(duì)應(yīng)監(jiān)控節(jié)點(diǎn)和管理節(jié)點(diǎn)添加進(jìn)節(jié)點(diǎn)1，2，3。

4.將cephfs組元加入各個(gè)節(jié)點(diǎn)

執(zhí)行以上步驟后，最后如下圖為配置成功

5.創(chuàng)建ceph pool池

根據(jù)官方的文檔，of_PGs這個(gè)數(shù)值比較關(guān)鍵，如果不合適的話，Ceph會(huì)告警，官方建議:

若少于5個(gè)OSD， 設(shè)置pg_num為128。

5~10個(gè)OSD，設(shè)置pg_num為512。

10~50個(gè)OSD，設(shè)置pg_num為4096。

創(chuàng)建好后每個(gè)節(jié)點(diǎn)都會(huì)出現(xiàn)創(chuàng)建的pool池。

四、遷移測(cè)試

最后可以進(jìn)行遷移測(cè)試了，在任意節(jié)點(diǎn)上安裝個(gè)虛擬系統(tǒng)，本次實(shí)驗(yàn)為節(jié)點(diǎn)1安裝編號(hào)為129的系統(tǒng)為proxmox的虛擬機(jī)。

如圖節(jié)點(diǎn)1安裝一個(gè)proxmox系統(tǒng)

如圖需要先將虛擬機(jī)的iso刪除，否則不會(huì)遷移。會(huì)提示報(bào)錯(cuò)

將剛才創(chuàng)建的虛擬機(jī)添加進(jìn)HA中。

此時(shí)節(jié)點(diǎn)3為master狀態(tài)，節(jié)點(diǎn)1，2，3都是激活狀態(tài)

關(guān)閉節(jié)點(diǎn)1，hengcan01 等待片刻

此時(shí)節(jié)點(diǎn)1是斷開(kāi)狀態(tài)，節(jié)點(diǎn)2，3為活動(dòng)狀態(tài)。至此，實(shí)驗(yàn)成功。