雜思集

2018年4月26日星期四

VSAN 升級至 6.5 --搭建 VSAN 升級測試環境

在 ESXI 實體主機上，再建立三台 ESXI ，測試 VSAN升級

相關 IP 配置如下：

192.168.3.27 -- VCSA -- twvc01 https://192.168.3.27:5480

192.168.2.199 -- ESXI

---VSAN

192.168.3.105 -- ESXI-01 (6GB) -- 設定 VSAN 最少要 6GB，不然無法設定

192.168.3.106 -- ESXI-02 (6GB)

192.168.3.107 -- ESXI-03 (6GB)

192.168.3.32 -- ESXI-01 VSAN 網路 IP

192.168.3.33 -- ESXI-02 VSAN 網路 IP

192.168.3.34 -- ESXI-03 VSAN 網路 IP

192.168.3.135 -- VCSA --VSAN

192.168.2.145 -- Guest VM

測試架構如下：

開啟巢狀虛擬機架構

如果在 ESXI 上建立 VM ，發現下列錯誤

1.確認 CPU 是否有啟用 Intel VT-d

1. Reboot or switch On the server.

2. Press the F9 key on the keyboard during POST.

3. Within the RBSU screen navigate to the following menu: System Options -> Processor Options -> Intel VT-d.

4.Enable or Disable the Intel(R)VT-d as required. By default it is Enabled.

5. Save the RBSU settings by pressing F10 key.

6. Reboot the server and the changes will be activated.

2.在實體機的 ESXI ，編輯 /etc/vmware/config 加入以下 vhv.enable = "TRUE"

3.檢查 CPU 的支援設定為「自動」

啟用 VSAN 需要網路和 DISK 先設定

要按照建立順序，若先建 Disk Group 再用網路，會找不到 Disk Group

1.建立 vsan vmkernel

2.創建 vsan cluster

3.創建 Disk Group

設定 VSAN 網路設定

先在各 ESXI 新增一個虛擬交換器 VSANswitch

新增網路

新增一個 VMKernerl VSAN-net ，啟用的服務要選 VSAN

在每台ESXI 添加 12 顆 HD，預計增加三個 Disk Group

先在每台 ESXI 添加 12 顆 10 GB HD

再將每顆 HD ，格式化成 VMFS 格式

三台 ESXI 都加完 HD 後，因為是測試，所以沒有 SSD ，要將其中 3 顆指定成 SSD

1.請執行指令「esxcli storage nmp satp rule add --satp VMW_SATP_LOCAL --device」，加上 SSD 固態硬碟的 Device ID mpx.vmhba1:C0:T9:L0 ，最後加上參數「--option=enable_ssd」即可。

2.指令執行完成後，再以「esxcli storage nmp satp rule list | grep enable_ssd」指令，確認一下是否設定正確。

3.再執行「esxcli storage core claiming reclaim -d mpx.vmhba1:C0:T9:L0」指令，將 SSD 固態硬碟先回收及重新宣告硬碟的動作。

將 HD 指定成 SSD步驟如下：

列出 ESXI 所有 HD

esxcli storage core device list

1.挑出三顆剛剛建立的 HD ，確認 SSD 狀態是 false

esxcli storage core device list --device=mpx.vmhba1:C0:T9:L0

2.將剛剛選出的三顆 HD，指定成 SSD

esxcli storage nmp satp rule add --satp VMW_SATP_LOCAL --device mpx.vmhba1:C0:T9:L0 --option=enable_ssd

esxcli storage nmp satp rule add --satp VMW_SATP_LOCAL --device mpx.vmhba1:C0:T8:L0 --option=enable_ssd

esxcli storage nmp satp rule add --satp VMW_SATP_LOCAL --device mpx.vmhba1:C0:T7:L0 --option=enable_ssd

3.確認有哪些 HD，被指定成 SSD

esxcli storage nmp satp rule list | grep enable_ssd

4.將 SSD 固態硬碟先回收及重新宣告硬碟的動作

esxcli storage core claiming reclaim -d mpx.vmhba1:C0:T9:L0

若想將SSD重新恢復至HDD，則執行

esxcli storage nmp satp rule remove --satp VMW_SATP_LOCAL --device="mpx.vmhba0:C0:T1:L0"

建一個 Cluster ，加入三台 ESXI 主機

設定 VSAN

如果抓到 HD，按照下面方法，刪除 Disk Partition

partedUtil get /vmfs/devices/disks/mpx.vmhba1:C0:T8:L0

partedUtil delete /vmfs/devices/disks/mpx.vmhba1:C0:T1:L0 1

若還是抓不到，將 ESXI 重開機。

可以看到，已經可以抓到 HD 了

把 SSD HD 宣告成快取層

再把一般 HD 宣告成容量層

vSAN 到此已設定完成。

可以看看是否有什麼錯誤

若是設定過程中， DISK 無法加入 VSAN

請確認在實體 ESXI 主機的 VSwitch 上，

要啟用混合模式（promiscuous mode ）和偽造的傳輸（forged transmits ）

2018年4月19日星期四

V3到V5不需要重建 Disk Group

升級流程
1. vSAN升級評估 - 明確升級的⽬標，確認相容性
2. 備份相關配置 - 包括vCenter和ESXi
3. 升級vSAN前檢查 - 確認升級前vSAN的健康狀態
4. 升級vCenter - 需要先升級vCenter
5. 升級ESXi主機 - vCenter升級完成後升級ESXi主機
6. 檢查vSAN狀態 - 格式升級前，需要檢查vSAN狀態，包括升級相關硬體的 Driver
7. 升級Disk Format - 有可能涉及到資料移轉
8. 升級vSAN後檢查 - 確認升級完成後vSAN的狀態

確認產品的 Interoperability Matrices

https://www.vmware.com/resources/compatibility/search.php
從 VMware Compatibility Guide 網站，點選 See the Product Interoperability Matrix

https://www.vmware.com/resources/compatibility/sim/interop_matrix.php#interop&1=&100=
確認 ESXI 支援 VSAN 的各版本升級相容性

vCenter Server各版本升級相容性

在升級過程中，vSAN 主機之間依舊會使⽤ Multicase 進⾏溝通，直到所有的主機都升級到vSAN6.6或更⾼（格式為3.0以及之前的版本）。

vSAN 6.6 主機之間會使⽤ UniCast 進⾏溝通，如果此時有新的主機加⼊Cluster，⽽該主機上安裝了vSAN6.6之前的版本（例如vSAN6.2），那麼vSAN Cluster會切換到 Multicase 進⾏溝通。

此時vSAN Cluster 中如果有任意⼀個主機的格式升級到5，整個 vSAN Cluster會使⽤ UniCast 進⾏溝通。

VSAN 環境升級前檢查
在vSAN升级前，我们需要確認以下事情：
• 目前的環境中，vSAN、ESXi 和 vSphere 升級的相容性沒有問題。
• 所有的 vSAN DISK 是健康的。
• 所有的物件都是可以訪問的。
• 没有資料正在同步。

1.登入每一台 ESXI ，用 esxcli vsan cluster get 確認 VSAN 成員數量是否正確。

2.vSAN中 -- 將磁碟新增至儲存區是手動，重複資料刪除和壓縮的功能是已停用。vSAN磁碟格式是 V3

3.檢查 Disk Manager 裡面 Disk Group 的狀況
VSAN 健全狀況狀態是狀況良好
網路磁碟分割群組是群組1 -- 若是不同版本的 VSAN 或磁碟格式會造成不同的群組
磁碟格式版本是 3

4.確認 VSAN 健康檢查中沒有異常

5.確認 HD 使用率，建議最少還有保留 30 % 空間
可以登入 Vcneter 進入 RVC 用 vsan.resync_dashboard 看狀況

6.確認沒有在同步的物件，也沒有不可存取的物件

7. 執行前，先去機房放幾包乖乖

2018年4月3日星期二

ESXI 6.0 VSAN 添加第三組 DISK Group 失敗，造成IOPS 異常

VSAN 添加第三組 DISK Group 失敗，造成IOPS 異常

因為會一直嘗試 Mount 異常的 HD，造成整個 VSAN crash

添加 DISK Group 失敗

發現慢到連 VC 都無法登入

上面的 VM GUEST 都慢到掛了

登入 ESXI ，確認 HD的狀態，可以看到有五顆 HD 異常

[root@VM:~] localcli vsan storage list |grep CMMDS

In CMMDS: true

In CMMDS: false

In CMMDS: true

In CMMDS: false

In CMMDS: true

In CMMDS: false

In CMMDS: true

照群組，列出有異常的 HD，

[root@VM:~] localcli vsan storage list |grep "CMMDS: false" -B6 |grep naa

Display Name: naa.50000398082a98e5