vSphere 7 Kubernetes監(jiān)管集群與控制平面揭秘

1、vSphere 7 Kubernetes 監(jiān)管集群與控制平面揭秘vSphere with Kubernetes 和 VMware Cloud Foundation 4您可通過 VMware Cloud Foundation 4 獲取 vSphere with Kubernetes。vSphere with Kubernetes 直接將 Kubernetes 集成和嵌入 vSphere 中，是用于運(yùn)行 Kubernetes 的VMware Tanzu 產(chǎn)品家族的基礎(chǔ)：使用 vSphere 和 Kubernetes針對所有現(xiàn)代應(yīng)用延展 vSphere支持在開發(fā)團(tuán)隊(duì)和 IT 運(yùn)維團(tuán)隊(duì) (DevOps

2、) 之間進(jìn)行協(xié)作vSphere with Kubernetes 和 VMware Tanzu關(guān)于 vSphere with KubernetesvSphere with Kubernetes 將 vSphere 轉(zhuǎn)換為原生 Kubernetes 平臺(tái)。在 vSphere with Kubernetes 中，監(jiān)管集群是一種特殊的 Kubernetes 集群，該集群使用 ESXi 作為工作節(jié) 點(diǎn)，而非 Linux。在監(jiān)管集群中，每臺(tái) ESXi 主機(jī)都運(yùn)行 Spherelet 實(shí)例；Spherelet 是 kubelet 的一種特殊實(shí)現(xiàn)形式，直接在ESXi 上運(yùn)行，而不是作為虛擬機(jī)運(yùn)行。關(guān)于監(jiān)管集群

3、 (1)監(jiān)管集群中包含一組控制平面虛擬機(jī)，這些虛擬機(jī)可提供對監(jiān)管集群的 API 訪問權(quán)限?？刂破矫嫣摂M機(jī)可用作端點(diǎn)，便于 Kubernetes 用戶使用熟悉的 kubectl 命令行界面對其 Namespace 進(jìn)行管理。關(guān)于監(jiān)管集群 (2)關(guān)于控制平面虛擬機(jī) (1)控制平面虛擬機(jī)相當(dāng)于 Kubernetes Master節(jié)點(diǎn)。這些控制平面虛擬機(jī)是在屬于監(jiān)管集群的主機(jī)上創(chuàng)建和運(yùn)行的：ESX Agent Manager (EAM) 管理控制平面虛擬機(jī)的部署。DRS 可確定這些虛擬機(jī)的位置，并根據(jù)需要進(jìn)行遷移。將為控制平面虛擬機(jī)自動(dòng)創(chuàng)建虛擬機(jī)反關(guān)聯(lián)規(guī)則。API 端點(diǎn)用于監(jiān)管集群的基礎(chǔ)架構(gòu)服務(wù)和 P

4、od控制平面虛擬機(jī)的生命周期管理關(guān)于控制平面虛擬機(jī) (2)控制平面虛擬機(jī)可針對監(jiān)管集群運(yùn)行基礎(chǔ)架構(gòu)服務(wù)和 Pod（類似于 Kubernetes 主節(jié)點(diǎn)）?？刂破矫婢W(wǎng)絡(luò)連接控制平面虛擬機(jī)使用管理、企業(yè)和 集群網(wǎng)絡(luò)：利用浮動(dòng) IP 從管理網(wǎng)絡(luò)訪問每個(gè)控制平面虛擬機(jī)之間的 etcd通信均使用管理網(wǎng)絡(luò)。開發(fā)人員使用虛擬 IP 來訪問基礎(chǔ)架 構(gòu)?？刂破矫媸褂眉壕W(wǎng)絡(luò)與 Pod 進(jìn)行 通信。關(guān)于 SphereletSpherelet 是以原生方式移植到 ESXi 的 kubelet。它使 ESXi 主機(jī)成為 Kubernetes 集群的一部分。Spherelet 具有以下功能：與控制平面虛擬機(jī)通信管理節(jié)點(diǎn)

5、配置啟動(dòng) vSphere Pod監(jiān)控 vSphere Pod關(guān)于 CRXContainer Runtime Executive (CRX) 內(nèi)置在ESXi 中。它具有以下屬性：半虛擬化 Photon Linux 內(nèi)核具有與虛擬機(jī)相同的硬件虛擬化、邊界和隔離關(guān)于 vSphere PodvSphere Pod 是一款占地空間很小的虛擬機(jī)，可運(yùn)行一個(gè)或多個(gè) Linux 容器。借助 vSphere Pod，工作負(fù)載具備以下功能：與基于 Photon OS 的 Linux 內(nèi)核強(qiáng)隔離使用 DRS 進(jìn)行資源管理與虛擬機(jī)相同的資源隔離級別與 Open Container Initiative (OCI) 兼

6、容相當(dāng)于 Kubernetes 容器主機(jī)vSphere Pod 網(wǎng)絡(luò)和存儲(chǔ)vSphere Pod 會(huì)根據(jù)存儲(chǔ)的對象使用不同類型的 存儲(chǔ)。存儲(chǔ)類型包括臨時(shí)虛擬機(jī)磁盤 (VMDK)、持 久卷 VMDK 和容器鏡像 VMDK：容器鏡像和臨時(shí)磁盤的存儲(chǔ)策略是在集群級別定義的。持久卷的存儲(chǔ)策略是在 Namespace 級別定義的。vSphere Pod 采用 NSX 提供的拓?fù)溥M(jìn)行網(wǎng)絡(luò)連接。比較 vSphere Pod 與 KubernetesvSphere with Kubernetes 體系架構(gòu)與 Kubernetes 體系架構(gòu)略有不同。主要區(qū)別在于 ESXi 可作 為 Kubernetes 節(jié)點(diǎn)。

7、vSphere Client 中的 vSphere with Kubernetes 對象在 vSphere Client 中，可以看到 vSphere with Kubernetes 對象?！癏osts and Clusters”（主機(jī)和集群）視圖中顯 示的對象包括：1Namespace 2vSphere Pod3Tanzu Kubernetes 集群4Harbor 鏡像倉庫5控制平面虛擬機(jī)您可以為 vSphere with Kubernetes 配置單獨(dú)的邊緣和計(jì)算集群：NSX Edge 集群在一個(gè)集群中運(yùn)行。工作負(fù)載在單獨(dú)的集群中運(yùn)行。關(guān)于單獨(dú)的邊緣和計(jì)算集群關(guān)于分布式防火墻在所有為 NS

8、X 準(zhǔn)備的 ESXi 主機(jī)集群上，分布式防火墻將作為 VIB 軟件包在內(nèi)核中運(yùn)行。NSX 分布式防火墻是一種有狀態(tài)防火墻。它將監(jiān)控 活動(dòng)連接的狀態(tài)，并通過此信息來確定允許哪些網(wǎng) 絡(luò)數(shù)據(jù)包流經(jīng)防火墻：系統(tǒng)將通過安裝在 ESXi 主機(jī)上的分布式防火墻 VIB來檢查流量。被防火墻攔截的流量在離開 ESXi 主機(jī)前將處于封鎖 狀態(tài)。vSphere with Kubernetes 網(wǎng)絡(luò)拓?fù)鋠Sphere with Kubernetes 使用NSX 網(wǎng)路功能：通過 Tier-1 路由器和分布式防火墻隔離監(jiān)管集群。通過分布式端口組和分布式防火墻 隔離 Namespace。默認(rèn)情況下，所有 Namespace

9、 將 允許所有流量。NSX 網(wǎng)絡(luò)先決條件在啟用 vSphere with Kubernetes 之前，您必須滿足以下要求：利用 NSX Data Center 3.0 準(zhǔn)備 ESXi 集群。部署 NSX Edge 集群。創(chuàng)建 Tier-0 網(wǎng)關(guān)。網(wǎng)絡(luò)連接要求 (1)啟用 vSphere with Kubernetes 的NSX 網(wǎng)絡(luò)連接時(shí)，需要滿足幾個(gè)網(wǎng)絡(luò)連接要求。要求所需數(shù)量說明VLAN3VLAN A：ESXi TEP 池VLAN B：NSX Edge TEP 池VLAN C：NSX Edge 上行鏈路vSphere Distributed Switch1版本 7.0，MTU 1600IP

10、池2名稱、CIDR、網(wǎng)關(guān)Edge2虛擬機(jī)名稱、FQDN、IP、密碼、數(shù)據(jù)存儲(chǔ)網(wǎng)絡(luò)連接要求 (2)配置 NSX 網(wǎng)絡(luò)連接后，您還必須滿足 vSphere with Kubernetes 的其他網(wǎng)絡(luò)連接要求。要求所需數(shù)量說明管理端口組1關(guān)于管理 VDS。管理 IP5五個(gè)連續(xù) IP、一個(gè)浮動(dòng) IP、三個(gè)控制平面虛擬機(jī) IP 和一個(gè)用于滾動(dòng)升級的 備用 IP。NTP IP1必須是 IP 地址。不支持 FQDN。Pod CIDR1為 vSphere Pod 提供 IP 地址的私有 CIDR 范圍。這些地址還可用于 Tanzu Kubernetes 集群節(jié)點(diǎn)。至少 /24 個(gè)子網(wǎng)。服務(wù) CIDR1將 IP 地址分配給 Kubernetes 服務(wù)的私有 CIDR 范圍。至少 /16 個(gè)子網(wǎng)。Ingress CIDR1至少 /27 個(gè)子網(wǎng)。與 Edge 上行鏈路相同的 VLAN。不得與 Egress 流量疊 加。Egress CIDR1至少 /27 個(gè)子網(wǎng)。與 Edge 上行鏈路相同的 VLAN。不得與 Ing