案例vsphere673cloud native storage您可以從VMware

1、VMware Cloud Native Storage 入門指南Update 32019 年 8 月 13 日VMware vSphere 6.7vCenter Server 6.7VMware ESXi 6.7VMware Cloud Native Storage 入門指南您可以從 VMware最新的技術文檔：https/cn/。如果您對本文檔有任何意見或建議，請將反饋至：docfVMware, Inc.3401 Hillview Ave. Palo Alto, CA 94304威睿 限公司北京辦公室北京市（中國）有上海辦公室上海市淮海中路 333 號804-809 室廣州辦公室廣州市天河路

2、 385 號太古匯一座 3502 室朝陽區(qū)新源南路 8 號啟皓北京東塔 8 層 801所有 2019 VMware, Inc. 保留所利。和商標信息VMware, Inc.2目錄關于 VMware Cloud Native Storage 入門指南51了解 Cloud Native Storage 6 Cloud Native Storage 概念和術語Cloud Native Storage 用戶和工具Cloud Native Storage 組件 867Cloud Native Storage 的要求10Cloud Native Storage11和2設置 Kubernetes 群集13配

3、置 Kubernetes 群集虛擬機13在節(jié)點虛擬機上設置 Kubernetes 組件 14初始化主節(jié)點 16初始化 Worker 節(jié)點 18安裝 vSphere Cloud Controller Manager18安裝 vSphere Container Storage Interface 驅動程序21使用確保 vCenter Server 連接安全 33驗證群集設置 36安裝 CCM 和 CSI 驅動程序后添加 Kubernetes 節(jié)點373部署有狀態(tài)應用程序 39創(chuàng)建創(chuàng)建策略 39類 41為應用程序定義和部署 Kubernetes 服務 42創(chuàng)建和部署 StatefulSet 43查看

4、容器卷 VMDK 464管理容器卷 47Kubernetes 群集中的容器卷 47擴展容器化應用程序 485在具有多個數據中心或群集的環(huán)境中部署 CCM 和 CSI在 vSphere CNS 環(huán)境中設置區(qū)域 5050使用 vSphere 標記創(chuàng)建區(qū)域51為 CCM 和 CSI 驅動程序啟用區(qū)域使用區(qū)域部署工作負載 54在 Kubernetes 中使用拓撲感知卷置備5257VMware, Inc.3VMware Cloud Native Storage 入門指南將 Kubernetes 節(jié)點虛擬機遷移到不同的區(qū)域或地區(qū) 606對 vSphere Cloud Native Storage 進行故障

5、排除62使用 CNS 日志文件62修改日志級別63VMware, Inc.4關于 VMware Cloud Native Storage 入門指南VMware Cloud Native Storage 入門指南文檔提供了有關在 vSphere 環(huán)境中設置和使用 VMware Cloud Native Storage 的信息。這些信息包括 Cloud Native Storage 概念和組件的簡要概述，以及說明如何創(chuàng)建 Kubernetes 群集和部署容器化應用程序的講解示范。目標讀者此信息適用于基本了解 Kubernetes 并熟悉容器部署概念的開發(fā)和 vSphere 管理員。VMware 技

6、術物術語表VMware 技術物提供了一個術語表，其中包含一些您可能不熟悉的術語。有關 VMware 技術文檔中所htt/support/pubs。使用的術語的定義，請VMware, Inc.51了解 Cloud Native StorageCloud Native Storage 是一種為有狀態(tài)應用程序提供全面數據管理的解決方案。使用 Cloud Native Storage時，您可以創(chuàng)建能夠重新啟動和中斷的有狀態(tài)容器化應用程序。有狀態(tài)容器利用 vSphere 公開的存儲，同時使用此類基本類型作為標準卷、持久性卷，并進行動態(tài)置備。借助 Cloud Native Storage，您可以創(chuàng)建于虛擬

7、機和容器生命周期的持久性容器卷。vSphere支持卷，您可以直接在卷上設置策略。創(chuàng)建卷后，可以在 vSphere Client 中查看這些卷及其備用虛擬磁盤，并其策略合規(guī)性。本章討論了以下主題：nCloud Native Storage 概念和術語Cloud Native Storage 用戶和工具nnCloud Native Storage 組件nCloud Native Storage 的要求Cloud Native Storage和nCloud Native Storage 概念和術語熟悉 vSphere Cloud Native Storage 環(huán)境的一些基本概念。Kubernetes

8、 群集運行 Kubernetes 主節(jié)點和 worker 節(jié)點服務的虛擬機群集。在 Kubernetes群集上，您可以部署容器化的應用程序。應用程序可以是有狀態(tài)的和無狀態(tài)的。PodPod 是由一個或多個共享以組的形式啟動、停止和和網絡等。的容器組成的組。Pod 中的容器容器 Orchestrator用于跨主機群集部署、擴展和管理容器化應用程序的開源平臺，例如Kubernetes。這些平臺提供了以容器為中心的基礎架構。有狀態(tài)應用程序由于容器化應用程序從無狀態(tài)發(fā)展為有狀態(tài)，它們需要持久性。無狀態(tài)應用程序在會話之間保存數據，與之不同的是，有狀態(tài)應用程序會將數據保存到持久性中。保留的數據稱為應用程序的

9、狀態(tài)。之后，您可以檢索數據，并在下一個會話中使用該數據。大多數應用程序都是有狀態(tài)的。數據庫是有狀態(tài)應用程序的示例。PersistentVolume有狀態(tài)應用程序使用 PersistentVolume其數據。PersistentVolume 是一個能夠保留其狀態(tài)和數據的 Kubernetes 卷。PersistentVolume于VMware, Inc.6VMware Cloud Native Storage 入門指南Pod，即使刪除或重新配置 Pod，它也可以繼續(xù)存在。在 vSphere 環(huán)境中，PersistentVolume 對象使用虛擬磁盤 (VMDK) 作為其備用。Persistent

10、VolumeClaim通常，您不需要提前創(chuàng)建 PersistentVolume 或其備用 VMDK。相反，應用程序可以通過 PersistentVolumeClaim 請求持久性。PersistentVolumeClaim 是一個請求，可以為 PersistentVolume 指定訪問模式、容量和其他參數。然后，請求會動態(tài)置備相應的PersistentVolume 對象和備用 VMDK。創(chuàng)建后，PersistentVolume 會自動綁定到。Pod 使用掛載PersistentVolume 并。刪除此時，將刪除相應的 PersistentVolume 對象和已置備的 VMDK。StorageC

11、lass您可以使用 StorageClass 描述支持 PersistentVolume 的要求。請參見創(chuàng)建類。StatefulSetStatefulSet 管理有狀態(tài)應用程序的部署和擴展。對于需要穩(wěn)定標識符或穩(wěn)定持久性的應用程序，StatefulSet 非常有用。您可以將 StatefulSet 配置為包含自動生成 PersistentVolumeClaim 對象的 volumeClaimTemplates 條目。請參見創(chuàng)建和部署 StatefulSet。Cloud Native Storage 用戶和工具在 vSphere Cloud Native Storage 環(huán)境中，創(chuàng)建和Kuber

12、netes 卷的過程所涉及的用戶類型通常分為兩類：Kubernetes 用戶和 vSphere 用戶。這兩種類型的用戶都不同的工具并執(zhí)行不同的任務。Kubernetes 用戶Kubernetes 用戶可以是 Kubernetes 開發(fā)和應用程序所有者、Kubernetes 管理員，或將兩者的功能組合在一起。Kubernetes 用戶在 Cloud Native Storage 環(huán)境中執(zhí)行的任務包括：n部署和管理有狀態(tài)應用程序。n執(zhí)行持久性卷的生命周期操作。n執(zhí)行類的生命周期操作。VMware, Inc.7VMware Cloud Native Storage 入門指南Kubernetes 用戶

13、通?？梢砸韵鹿ぞ撸簁ubectl提供對 Kubernetes 群集令行的 Kubernetes 接口。要與群集進行通信，您可以在 kubectl 配置文件中使用主節(jié)點的 IP 地址。有關 kubectl 的詳細信息，請參見 Kubernetes 文檔中的 kubectl 概覽。配置文件部署工作負載時，Kubernetes 用戶向配置文件中的 Kubernetes 提供信息。通常，會使用 YAML 文件。發(fā)出 API 請求時，kubectl 會將信息轉換為JSON。注 YAML 文件中包含的 Kubernetes的名稱必須符合 Kubernetes 約定。有關信息，請參見 Kubernetes

14、文檔中的名稱。Kubernetes 儀表板通過 Kubernetes 儀表板，您可以查看有關 Kubernetes 群集的節(jié)點、命名空間、部署以及其他詳細信息。vSphere 用戶vSphere 用戶vSphere Client 以執(zhí)行以下任務：n執(zhí)行虛擬機策略的生命周期操作。例如，創(chuàng)建一個用于 Kubernetes類的虛擬機策略，并將其名稱傳達給 Kubernetes 用戶。n使用 vSphere Client 的 Cloud Native Storage 部分略合規(guī)性。Kubernetes 群集中容器卷的運行狀況和策Cloud Native Storage 組件Cloud Native S

15、torage 使用多個組件與 vSphere進行集成。下圖顯示了這些組件的交互方式。VMware, Inc.8VMware Cloud Native Storage 入門指南Kubernetes 節(jié)點SPBMCSI 插件策略管理和合規(guī)性CNS層面CacheDBKuberneted塊卷管理元數據聚合FCDvSANVMFSNFSKubernetes 群集在 Cloud Native Storage 環(huán)境中，Kubernetes 群集是部署在 vSphere 中的虛擬機或節(jié)點群集。在其上部署有狀態(tài)應用程序時，Kubernetes 用戶直接與群集進行交互。vSphere ContainerStorag

16、e Interface (CSI)vSphere CSI 是一個接口，可向容器 Orchestrator（如 Kubernetes）上的容器化工作負載公開 vSphere儲。它支持 vSAN 和其他類型的 vSphere 存在 Kubernetes 上，CSI 驅動程序與樹外 vSphere Cloud Controller Manager (CCM) 一起使用。Container Storage Interface 支持動態(tài)置備容器卷。該接口支持以下功能：nvSphere 第一類磁盤功能nKubernetes 區(qū)域n常規(guī)掛載和 掛載n跨多個 vCenter Server 和數據中心部署的 K

17、ubernetes 群集n從多個數據或數據群集置備Cloud Native Storage 服務器組件CNS 服務器組件駐留在 vCenter Server 中。它是 vCenter Server 管理的擴展，用于執(zhí)行容器卷的置備和生命周期操作。置備容器卷時，它會與第一類磁盤功能進行交互，以創(chuàng)建支持卷的虛擬磁盤。此外，CNS 服務器組件與基于所需服務級別。策略的管理進行通信，以保證磁盤的VMware, Inc.9vSphereVMware Cloud Native Storage 入門指南CNS 還會執(zhí)行操作，以便您通過 vCenter Server 管理和容器卷及其備用虛擬磁盤。第一類磁盤

18、(FCD)也稱為改進的虛擬磁盤。它是與虛擬機無關的已命名虛擬磁盤。這些磁盤駐留在 VMFS、NFS 或 vSAN 數據和備用容器卷上?；诓呗缘墓芾硎且环N vCenter Server 服務，它支持根據指定的基于策略的管理要求置備持久性卷。置備后，服務會具有所需策略特性的卷的合規(guī)性。Cloud Native Storage 的要求Cloud Native Storage 環(huán)境和加入 Kubernetes 群集的虛擬機必須滿足多個要求。Cloud Native Storage 要求nvSphere 6.7 Update 3 或更高版本。nKubernetes 1.14 及更高版本。n一個 Kub

19、ernetes 群集，其所包含的一個主節(jié)點和多個 worker 節(jié)點部署在虛擬機上?？梢钥缍鄠€數據中心和群集部署節(jié)點。Kubernetes 群集虛擬機的要求n硬件版本為 15 或更高版本的虛擬機。在每個節(jié)點虛擬機上安裝 VMware Tools。n建議的客戶機操作系統(tǒng)：nUbuntu 18.04.1 LTS (Bionic Beaver) 64 位 PC (AMD64) 服務器。有關信息，請參見 http:/par/GOSIG/Ubuntu_18_04_LTS.html。n虛擬機硬件建議：n根據工作負載要求充分設置 CPU 和內存。n對節(jié)點虛擬機上的主磁盤使用 VMware 準虛擬 SCSI器

20、。n所有虛擬機都必須共享數據，例如 vSAN。n在每個節(jié)點虛擬機上設置 disk.EnableUUID 參數。請參見配置 Kubernetes 群集虛擬機。n為避免出現錯誤和不可預知的行為，為 CNS 節(jié)點虛擬機生成快照。Docker 映像VMware 分發(fā)并建議使用以下映像：nvmware/vsphere-block-csi-driver:v1.0.0nvmware/volume-metadata-syncer:v1.0.0ngcr.io/cloud-provider-vsphere/vsphere-cloud-controller-manager:latestVMware, Inc.10V

21、Mware Cloud Native Storage 入門指南此外，還可以使用以下映像或者適用于 CSI 部署的任何開源或容器映像：quay.io/k8scsi/csi-provisioner:v1.2.0nquay.io/k8scsi/csi-attacher:v1.1.1nquay.io/k8scsi/csi-node-driver-registrar:v1.1.0nquay.io/k8scsi/livenessprobe:v1.1.0nk8s.gcr.io/kube-apiserver:v1.14.2nk8s.gcr.io/kube-controller-manager:v1.14.2n

22、k8s.gcr.io/kube-scheduler:v1.14.2nk8s.gcr.io/kube-proxy:v1.14.2nk8s.gcr.io/pause:3.1nk8s.gcr.io/etcd:3.3.10nk8s.gcr.io/coredns:1.5.0nCloud Native Storage和vSphere 用戶必須具有特定的才能執(zhí)行與 Cloud Native Storage 相關的操作。您可以創(chuàng)建多個，以便為加入 Cloud Native Storage 環(huán)境的對象分配權限集。有關 vSphere 中的和權限以及如何創(chuàng)建的詳細信息，請參見vSphere 安全性文檔。CNS-S

23、PBM配置文件驅動的新 配置文件驅動的更對虛擬機策略進行更根 vCenter Server改，例如創(chuàng)建和更新虛擬機策略。 配置文件驅動的配置文件驅動的圖視查看定義的策略。CNS-VM虛擬機 配置 添加現有磁盤將現有虛擬磁盤添加到虛擬機。所有群集節(jié)點虛擬機虛擬機 配置 添加或移除設備添加或移除任何非磁盤設備。CNS-Datastore 低級別文件操作數據在數據瀏覽器中執(zhí)行持久性卷所在的共享數據、寫入、刪除和重命名操作。VMware, Inc.11名稱名稱描述要求VMware Cloud Native Storage 入門指南只讀默認具有“只讀”的對象用戶節(jié)點虛擬機所在的所有主機數據中心可查看對象

24、的狀態(tài)和詳細信息。例如，具有此的用戶可以找到所有節(jié)點虛擬機均可的共享數據。對于區(qū)域和拓撲感知環(huán)境，節(jié)點虛擬機的所有先代（例如， 主機、群集和數據中心）都必須配置為使用 CSI 驅動程序和 CCM 的 vSphere 用戶設置只讀。要標記和類別以準備節(jié)點拓撲，必須滿足此條件。CNS UIs.label s.Searchable.label管理員查看 CNSUI。VMware, Inc.12名稱名稱描述要求2設置 Kubernetes 群集使用持久性的有狀態(tài)應用程序在 Kubernetes 群集上運行。您可以在 vSphere 管理的虛擬機上部署Kubernetes 群集。該群集包含至少一個主節(jié)點

25、虛擬機和多個 worker 節(jié)點。創(chuàng)建 Kubernetes 群集之前，您需要配置節(jié)點虛擬機。然后，安裝所有必需的 Kubernetes 組件和容器運行時，配置 vSphere Container Storage Interface，并引導群集。本章討論了以下主題：n配置 Kubernetes 群集虛擬機n在節(jié)點虛擬機上設置 Kubernetes 組件n初始化主節(jié)點n初始化 Worker 節(jié)點安裝 vSphere Cloud Controller Managernn安裝 vSphere Container Storage Interface 驅動程序n驗證群集設置n安裝 CCM 和 CSI 驅

26、動程序后添加 Kubernetes 節(jié)點配置 Kubernetes 群集虛擬機在每個節(jié)點虛擬機上，啟用 disk.EnableUUID 參數，以便虛擬機可以掛載虛擬磁盤。對加入群集的每個虛擬機節(jié)點執(zhí)行以下步驟。前提條件n為 Kubernetes 群集創(chuàng)建多個虛擬機?？梢詫μ摂M機使用以下名稱：k8s-master、k8s-node1、k8s- nodeX 等。有關虛擬機要求，請參見 Cloud Native Storage 的要求。n所需：虛擬機.配置.設置。注 為避免出現錯誤和不可預知的行為，對 CNS 節(jié)點虛擬機生成快照。步驟1在 vSphere Client 中，右鍵單擊虛擬機，然后選擇編

27、輯設置。2單擊虛擬機選項選項卡，然后展開高級菜單。VMware, Inc.13VMware Cloud Native Storage 入門指南3單擊“配置參數”旁邊的編輯配置。4配置 disk.EnableUUID 參數。如果該參數存在，請確保其值設置為 True。如果該參數不存在，請?zhí)砑硬⑵渲翟O置為 True。disk.EnableUUID True在節(jié)點虛擬機上設置 Kubernetes 組件在節(jié)點虛擬機上安裝容器運行時和其他 Kubernetes 組件。該任務說明如何在 Ubuntu 上安裝 Docker CE。此外，還說明了如何安裝以下組件：nkubeadm 是用于引導群集令。在主節(jié)

28、點和所有 worker 節(jié)點上運行。nkubelet 是在群集中的所有節(jié)點上運行的組件，并執(zhí)行啟動 Pod 和容器等任務。nkubectl 是用于與群集進行通信令行實用程序。僅在主節(jié)點上運行。前提條件使用 root執(zhí)行所有安裝和配置命令。您可以使用 sudosu 命令切換到根環(huán)境。步驟1在所有群集節(jié)點上，禁用交換。VMware, Inc.14# swapoff -a# vi /etc/fstab # remove any swap entries from this file名稱值VMware Cloud Native Storage 入門指南2在所有群集節(jié)點上安裝 Docker。a安裝 Do

29、cker CE。要安裝特定版本，請將版本字符串替換為版本號，例如 18.06.0ce3-0ubuntu。b設置守護進程。c重新啟動 Docker。3在所有節(jié)點上安裝 kubeadm、kubelet 和 kubectl。請確保安裝合適版本的軟件包。在此示例中，使用適用于 Ubuntu 的版本 1.14.2-00。VMware, Inc.15# curl -s/apt/doc/apt-key.gpg | apt-key add -# cat /etc/apt/sources.list.d/kubernetes.list debkubernetes-xenial mainEOF# apt-get u

30、pdate# apt-get install -qy kubeadm=1.14.2-00 kubelet=1.14.2-00 kubectl=1.14.2-00# systemctl daemon-reload # systemctl restart dockercat /etc/docker/daemon.json /dev/null discovery.yaml# kubectl apply -f/coreos/flannel/ bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml# kubectl

31、get pods -namespace=kube-systemNAMEREADY STATUS RESTARTS AGEcoredns-fb8b8dccf-q57f90/1 Pending 0 87scoredns-fb8b8dccf-scgp20/1 Pending 0 87setcd-k8s-master1/1 Running 0 54s kube-apiserver-k8s-master1/1 Running 0 39s kube-controller-manager-k8s-master 1/1 Running 0 54s kube-proxy-rljk81/1 Running 0 8

32、7s kube-scheduler-k8s-master1/1 Running 0 37s# kubectl describe pod coredns-fb8b8dccf-q57f9 -namespace=kube-system.Events:TypeReasonAgeFromMessage-Warning FailedScheduling 7s (x21 over 2m1s) default-scheduler 0/1 nodes are available: 1 node(s) had taints that the pod didnt tolerate.# mkdir -p $HOME/

33、.kube# cp /etc/kubernetes/admin.conf $HOME/.kube/configYou can now join any number of machines by running the following on each node as root:kubeadm join IP of your Kubernetes master:6443 -token y7yaev.9dvwxx6ny4ef8vlq -discovery- token-ca-cert-hash sha256:sha sum from output aboveVMware Cloud Nativ

34、e Storage 入門指南在本地discovery.yaml 文件，然后將其上載到 /etc/kubernetes/discovery.yaml 處的worker 節(jié)點。6初始化 Worker 節(jié)點初始化虛擬機群集 worker 節(jié)點，并將其添加到群集。在 worker 節(jié)點上執(zhí)行以下任務。步驟1為 worker 節(jié)點創(chuàng)建 kubeadm join 配置文件。該文件使用 discovery.yaml 文件作為主節(jié)點發(fā)現的輸入。令牌與您在主節(jié)點kubeadminitmaster.yaml 配置中使用的令牌相同。對于 worker 節(jié)點，將云提供商指定為external。2將 worker 節(jié)點

35、添加到群集。安裝 vSphere Cloud Controller Manager可以將節(jié)點虛擬機配置為使用 vSphere Cloud Controller Manager 運行。注 如果要在部署中使用區(qū)域，請參見第 5 章 在具有多個數據中心或群集的環(huán)境中部署 CCM 和 CSI。前提條件滿足 Cloud Native Storage 的要求中的要求。VMware, Inc.18# kubeadm join -config /etc/kubernetes/kubeadminitworker.yaml# tee /etc/kubernetes/kubeadminitworker.yaml /

36、dev/null /dev/null EOF Globalinsecure-flag = trueVirtualCenter vCenter Server IP address user = userpassword = password port = 443datacenters = datacenterNetworkpublic-network = VM Network EOF選項描述VMware Cloud Native Storage 入門指南驗證是否已在 kube-system 命名空間中創(chuàng)建 configmap cloud-config。cd移除在 /etc/kubernetes/

37、 下創(chuàng)建的 vsphere.conf 文件。2安裝 vSphere Cloud Controller Manager。a確保已使用 node.cloudprovider.kubernetes.io/uninitialized=true:NoSchedule 污染所有節(jié)點。使用外部云提供商啟動 kubelet 時，會在節(jié)點上設置此污點以將其標記為不可用。CloudController Manager 中的器初始化此節(jié)點后，kubelet 將移除污點。b安裝 vSphere Cloud Controller Manager。以下示例顯示如何將 RBAC和 RBCA 綁定應用于 Kubernetes

38、 群集。此外，還顯示如何在DaemonSet 中部署 Cloud Controller Manager。VMware, Inc.20# kubectl apply -f/kubernetes/cloud-provider-vsphere/master/ manifests/controller-manager/cloud-controller-manager-roles.yaml clusterrole.rbac.authorization.k8s.io/system:cloud-controller-manager created# kubectl apply -f/kubernetes/c

39、loud-provider-vsphere/master/ manifests/controller-manager/cloud-controller-manager-role-bindings.yaml clusterrolebinding.rbac.authorization.k8s.io/system:cloud-controller-manager created# kubectl apply -f/kubernetes/cloud-provider-vsphere/raw/master/manifests/ controller-manager/vsphere-cloud-contr

40、oller-manager-ds.yamlserviceaccount/cloud-controller-manager created daemonset.extensions/vsphere-cloud-controller-manager created service/vsphere-cloud-controller-manager created# kubectl describe nodes | egrep Taints:|Name: Name:k8s-masterTaints:node-role.kubernetes.io/master:NoScheduleName:k8s-no

41、de1Taints:node.cloudprovider.kubernetes.io/uninitialized=true:NoSchedule Name:k8s-node2Taints:node.cloudprovider.kubernetes.io/uninitialized=true:NoSchedule Name:k8s-node3Taints:node.cloudprovider.kubernetes.io/uninitialized=true:NoSchedule Name:k8s-node4Taints:node.cloudprovider.kubernetes.io/unini

42、tialized=true:NoSchedule# rm -rf /etc/kubernetes/vsphere.conf# kubectl get configmap cloud-config -namespace=kube-system NAMEDATAAGEcloud-config182sVMware Cloud Native Storage 入門指南3驗證 vSphere Cloud Controller Manager 是否已安裝。a驗證 vSphere Cloud Controller Manager 和所有其他系統(tǒng) pod 是否已啟動并正在運行。b驗證是否在所有節(jié)點上設置了 Pr

43、oviderID。c確保已從所有節(jié)點中移除 node.cloudprovider.kubernetes.io/uninitialized 參數。安裝 vSphere Container Storage Interface 驅動程序配置并安裝 vSphere Container Storage Interface (CSI) 驅動程序。注 如果要在部署中使用區(qū)域，請參見第 5 章 在具有多個數據中心或群集的環(huán)境中部署 CCM 和 CSI。VMware, Inc.21# kubectl describe nodes | egrep Taints:|Name: Name:k8s-masterTaints:node-role.kubernetes.io/master:NoScheduleName:k8s-node1Taints:Name:k8s-node2Taints:Name:k8s-node3Taints:Name:k8s-node4Taints:# kubectl describe nodes | grep ProviderIDProviderID:vsphere:/421f0831-7a05-fe2d-