雜思集

2018年4月26日星期四

VSAN 升級至 6.5 -- Vcenter 升級

升級前注意事項：

https://my.vmware.com/group/vmware/patch
升級前先做 snapshot

因為是 6.5 的同版本更新，所以不用完整的 ISO

到 https://my.vmware.com/group/vmware/patch 找新的更新的 ISO

升級前先做 snapshot

把下載的 ISO 擋掛載到

按 Check Update 會出現 Stage Failed

查詢網路，發現大都是空間不足，但是用 df -h 查看，空間是夠的

進入console 查看，在 command 下

software-packages stage --iso

出現這個錯誤

發現是 RPM DB 異常，

刪除 RPM DB rm -f /var/lob/rpm __db.00*

重建 RPM DB

rpm -- rebuilddb

重開 Vcenter，再試一次

software-packages stage --iso

這次就正常，沒有再出現錯誤了。按 Enter 同意

software-packages install --staged

更新完成後，重新開機。再進去management看

查看版本，已經更新了

再按 Check CDROM ，也不會出現錯誤了

VSAN 升級至 6.5 --搭建 VSAN 升級測試環境

在 ESXI 實體主機上，再建立三台 ESXI ，測試 VSAN升級

相關 IP 配置如下：

192.168.3.27 -- VCSA -- twvc01 https://192.168.3.27:5480

192.168.2.199 -- ESXI

---VSAN

192.168.3.105 -- ESXI-01 (6GB) -- 設定 VSAN 最少要 6GB，不然無法設定

192.168.3.106 -- ESXI-02 (6GB)

192.168.3.107 -- ESXI-03 (6GB)

192.168.3.32 -- ESXI-01 VSAN 網路 IP

192.168.3.33 -- ESXI-02 VSAN 網路 IP

192.168.3.34 -- ESXI-03 VSAN 網路 IP

192.168.3.135 -- VCSA --VSAN

192.168.2.145 -- Guest VM

測試架構如下：

開啟巢狀虛擬機架構

如果在 ESXI 上建立 VM ，發現下列錯誤

1.確認 CPU 是否有啟用 Intel VT-d

1. Reboot or switch On the server.

2. Press the F9 key on the keyboard during POST.

3. Within the RBSU screen navigate to the following menu: System Options -> Processor Options -> Intel VT-d.

4.Enable or Disable the Intel(R)VT-d as required. By default it is Enabled.

5. Save the RBSU settings by pressing F10 key.

6. Reboot the server and the changes will be activated.

2.在實體機的 ESXI ，編輯 /etc/vmware/config 加入以下 vhv.enable = "TRUE"

3.檢查 CPU 的支援設定為「自動」

啟用 VSAN 需要網路和 DISK 先設定

要按照建立順序，若先建 Disk Group 再用網路，會找不到 Disk Group

1.建立 vsan vmkernel

2.創建 vsan cluster

3.創建 Disk Group

設定 VSAN 網路設定

先在各 ESXI 新增一個虛擬交換器 VSANswitch

新增網路

新增一個 VMKernerl VSAN-net ，啟用的服務要選 VSAN

在每台ESXI 添加 12 顆 HD，預計增加三個 Disk Group

先在每台 ESXI 添加 12 顆 10 GB HD

再將每顆 HD ，格式化成 VMFS 格式

三台 ESXI 都加完 HD 後，因為是測試，所以沒有 SSD ，要將其中 3 顆指定成 SSD

1.請執行指令「esxcli storage nmp satp rule add --satp VMW_SATP_LOCAL --device」，加上 SSD 固態硬碟的 Device ID mpx.vmhba1:C0:T9:L0 ，最後加上參數「--option=enable_ssd」即可。

2.指令執行完成後，再以「esxcli storage nmp satp rule list | grep enable_ssd」指令，確認一下是否設定正確。

3.再執行「esxcli storage core claiming reclaim -d mpx.vmhba1:C0:T9:L0」指令，將 SSD 固態硬碟先回收及重新宣告硬碟的動作。

將 HD 指定成 SSD步驟如下：

列出 ESXI 所有 HD

esxcli storage core device list

1.挑出三顆剛剛建立的 HD ，確認 SSD 狀態是 false

esxcli storage core device list --device=mpx.vmhba1:C0:T9:L0

2.將剛剛選出的三顆 HD，指定成 SSD

esxcli storage nmp satp rule add --satp VMW_SATP_LOCAL --device mpx.vmhba1:C0:T9:L0 --option=enable_ssd

esxcli storage nmp satp rule add --satp VMW_SATP_LOCAL --device mpx.vmhba1:C0:T8:L0 --option=enable_ssd

esxcli storage nmp satp rule add --satp VMW_SATP_LOCAL --device mpx.vmhba1:C0:T7:L0 --option=enable_ssd

3.確認有哪些 HD，被指定成 SSD

esxcli storage nmp satp rule list | grep enable_ssd

4.將 SSD 固態硬碟先回收及重新宣告硬碟的動作

esxcli storage core claiming reclaim -d mpx.vmhba1:C0:T9:L0

若想將SSD重新恢復至HDD，則執行

esxcli storage nmp satp rule remove --satp VMW_SATP_LOCAL --device="mpx.vmhba0:C0:T1:L0"

建一個 Cluster ，加入三台 ESXI 主機

設定 VSAN

如果抓到 HD，按照下面方法，刪除 Disk Partition

partedUtil get /vmfs/devices/disks/mpx.vmhba1:C0:T8:L0

partedUtil delete /vmfs/devices/disks/mpx.vmhba1:C0:T1:L0 1

若還是抓不到，將 ESXI 重開機。

可以看到，已經可以抓到 HD 了

把 SSD HD 宣告成快取層

再把一般 HD 宣告成容量層

vSAN 到此已設定完成。

可以看看是否有什麼錯誤

若是設定過程中， DISK 無法加入 VSAN

請確認在實體 ESXI 主機的 VSwitch 上，

要啟用混合模式（promiscuous mode ）和偽造的傳輸（forged transmits ）

2018年4月19日星期四

V3到V5不需要重建 Disk Group

升級流程
1. vSAN升級評估 - 明確升級的⽬標，確認相容性
2. 備份相關配置 - 包括vCenter和ESXi
3. 升級vSAN前檢查 - 確認升級前vSAN的健康狀態
4. 升級vCenter - 需要先升級vCenter
5. 升級ESXi主機 - vCenter升級完成後升級ESXi主機
6. 檢查vSAN狀態 - 格式升級前，需要檢查vSAN狀態，包括升級相關硬體的 Driver
7. 升級Disk Format - 有可能涉及到資料移轉
8. 升級vSAN後檢查 - 確認升級完成後vSAN的狀態

確認產品的 Interoperability Matrices

https://www.vmware.com/resources/compatibility/search.php
從 VMware Compatibility Guide 網站，點選 See the Product Interoperability Matrix

https://www.vmware.com/resources/compatibility/sim/interop_matrix.php#interop&1=&100=
確認 ESXI 支援 VSAN 的各版本升級相容性

vCenter Server各版本升級相容性

在升級過程中，vSAN 主機之間依舊會使⽤ Multicase 進⾏溝通，直到所有的主機都升級到vSAN6.6或更⾼（格式為3.0以及之前的版本）。

vSAN 6.6 主機之間會使⽤ UniCast 進⾏溝通，如果此時有新的主機加⼊Cluster，⽽該主機上安裝了vSAN6.6之前的版本（例如vSAN6.2），那麼vSAN Cluster會切換到 Multicase 進⾏溝通。

此時vSAN Cluster 中如果有任意⼀個主機的格式升級到5，整個 vSAN Cluster會使⽤ UniCast 進⾏溝通。

VSAN 環境升級前檢查
在vSAN升级前，我们需要確認以下事情：
• 目前的環境中，vSAN、ESXi 和 vSphere 升級的相容性沒有問題。
• 所有的 vSAN DISK 是健康的。
• 所有的物件都是可以訪問的。
• 没有資料正在同步。

1.登入每一台 ESXI ，用 esxcli vsan cluster get 確認 VSAN 成員數量是否正確。