Kubernetes 支持运行 Linux 或 Microsoft Windows 的工作节点。
CNCF 及其母公司 Linux 基金会采用供应商中立的方法来实现兼容性。可以将你的 Windows 服务器作为工作节点加入 Kubernetes 集群。
无论你的集群使用什么操作系统， 都可以在 Windows 上安装和设置 kubectl。
如果你使用的是 Windows 节点，你可以阅读：
或者，要了解概览，请阅读：
在许多组织中，所运行的很大一部分服务和应用是 Windows 应用。 Windows 容器提供了一种封装进程和包依赖项的方式， 从而简化了 DevOps 实践，令 Windows 应用程序同样遵从云原生模式。
对于同时投入基于 Windows 应用和 Linux 应用的组织而言，他们不必寻找不同的编排系统来管理其工作负载， 使其跨部署的运营效率得以大幅提升，而不必关心所用的操作系统。
若要在 Kubernetes 中启用对 Windows 容器的编排，可以在现有的 Linux 集群中包含 Windows 节点。 在 Kubernetes 上调度 Pod 中的 Windows 容器与调度基于 Linux 的容器类似。
为了运行 Windows 容器，你的 Kubernetes 集群必须包含多个操作系统。 尽管你只能在 Linux 上运行控制平面， 你可以部署运行 Windows 或 Linux 的工作节点。
支持 Windows 节点的前提是操作系统为 Windows Server 2019。
本文使用术语 Windows 容器表示具有进程隔离能力的 Windows 容器。 Kubernetes 不支持使用 Hyper-V 隔离能力来运行 Windows 容器。
某些节点层面的功能特性仅在使用特定容器运行时时才可用； 另外一些特性则在 Windows 节点上不可用，包括：
Windows 节点并不支持共享命名空间的所有功能特性。 有关更多详细信息，请参考 API 兼容性。
有关 Kubernetes 测试时所使用的 Windows 版本的详细信息，请参考 Windows 操作系统版本兼容性。
从 API 和 kubectl 的角度来看，Windows 容器的行为与基于 Linux 的容器非常相似。 然而，在本节所概述的一些关键功能上，二者存在一些显著差异。
Kubernetes 关键组件在 Windows 上的工作方式与在 Linux 上相同。 本节介绍几个关键的工作负载抽象及其如何映射到 Windows。
Pod 是 Kubernetes 的基本构建块，是可以创建或部署的最小和最简单的单元。 你不可以在同一个 Pod 中部署 Windows 和 Linux 容器。 Pod 中的所有容器都调度到同一 Node 上，每个 Node 代表一个特定的平台和体系结构。 Windows 容器支持以下 Pod 能力、属性和事件：
status 字段emptyDir 卷.spec.os.name 字段应设置为 windows 以表明当前 Pod 使用 Windows 容器。
如果你将 `.spec.os.name` 字段设置为 `windows`，
则你必须不能在对应 Pod 的 .spec 中设置以下字段：
spec.hostPIDspec.hostIPCspec.securityContext.seLinuxOptionsspec.securityContext.seccompProfilespec.securityContext.fsGroupspec.securityContext.fsGroupChangePolicyspec.securityContext.sysctlsspec.shareProcessNamespacespec.securityContext.runAsUserspec.securityContext.runAsGroupspec.securityContext.supplementalGroupsspec.containers[*].securityContext.seLinuxOptionsspec.containers[*].securityContext.seccompProfilespec.containers[*].securityContext.capabilitiesspec.containers[*].securityContext.readOnlyRootFilesystemspec.containers[*].securityContext.privilegedspec.containers[*].securityContext.allowPrivilegeEscalationspec.containers[*].securityContext.procMountspec.containers[*].securityContext.runAsUserspec.containers[*].securityContext.runAsGroup在上述列表中，通配符（`*`）表示列表中的所有项。
例如，spec.containers[*].securityContext 指代所有容器的 SecurityContext 对象。
如果指定了这些字段中的任意一个，则 API 服务器不会接受此 Pod。
工作负载资源包括：
有关更多详细信息，请参考负载均衡和 Service。
Pod、工作负载资源和 Service 是在 Kubernetes 上管理 Windows 工作负载的关键元素。 然而，它们本身还不足以在动态的云原生环境中对 Windows 工作负载进行恰当的生命周期管理。
kubectl exec某些 kubelet 命令行选项在 Windows 上的行为不同，如下所述：
--windows-priorityclass 允许你设置 kubelet 进程的调度优先级
（参考 CPU 资源管理）。--kube-reserved、--system-reserved 和 --eviction-hard 标志更新
NodeAllocatable。--enforce-node-allocable 驱逐。--eviction-hard 和 --eviction-soft 驱逐。--kube-reserved 和 --system-reserved 仅从 NodeAllocatable 中减去，并且不保证为工作负载提供的资源。
有关更多信息，请参考 Windows 节点的资源管理。MemoryPressure 条件。由于操作系统和容器运行时的缘故，Kubernetes API 在 Windows 上的工作方式存在细微差异。 某些工作负载属性是为 Linux 设计的，无法在 Windows 上运行。
从较高的层面来看，以下操作系统概念是不同的：
/etc/groups 或 /etc/passwd 中的别名，
作为 UID+GID 的后备标识。
Windows 使用更大的二进制安全标识符（SID），
存放在 Windows 安全访问管理器（Security Access Manager，SAM）数据库中。
此数据库在主机和容器之间或容器之间不共享。\ 而不是 /。
Go IO 库通常接受两者，能让其正常工作，但当你设置要在容器内解读的路径或命令行时，
可能需要用 \。WM_CLOSE 在内准确定义的消息。SERVICE_CONTROL_STOP 控制码的服务控制处理程序（Service Control Handler）函数。容器退出码遵循相同的约定，其中 0 表示成功，非零表示失败。 具体的错误码在 Windows 和 Linux 中可能不同。 但是，从 Kubernetes 组件（kubelet、kube-proxy）传递的退出码保持不变。
以下列表记录了 Pod 容器规约在 Windows 和 Linux 之间的工作方式差异：
requests.cpu 和 requests.memory -
从节点可用资源中减去请求，因此请求可用于避免一个节点过量供应。
但是，请求不能用于保证已过量供应的节点中的资源。
如果运营商想要完全避免过量供应，则应将设置请求作为最佳实践应用到所有容器。securityContext.allowPrivilegeEscalation -
不能在 Windows 上使用；所有权能字都无法生效。securityContext.capabilities - POSIX 权能未在 Windows 上实现。securityContext.privileged - Windows 不支持特权容器，
可使用 HostProcess 容器代替。securityContext.procMount - Windows 没有 /proc 文件系统。securityContext.readOnlyRootFilesystem -
不能在 Windows 上使用；对于容器内运行的注册表和系统进程，写入权限是必需的。securityContext.runAsGroup - 不能在 Windows 上使用，因为不支持 GID。securityContext.runAsNonRoot -
此设置将阻止以 ContainerAdministrator 身份运行容器，这是 Windows 上与 root 用户最接近的身份。securityContext.runAsUser - 改用 runAsUserName。securityContext.seLinuxOptions - 不能在 Windows 上使用，因为 SELinux 特定于 Linux。terminationMessagePath - 这个字段有一些限制，因为 Windows 不支持映射单个文件。
默认值为 /dev/termination-log，因为默认情况下它在 Windows 上不存在，所以能生效。以下列表记录了 Pod 规约在 Windows 和 Linux 之间的工作方式差异：
hostIPC 和 hostpid - 不能在 Windows 上共享主机命名空间。hostNetwork - 参见下文dnsPolicy - Windows 不支持将 Pod dnsPolicy 设为 ClusterFirstWithHostNet，
因为未提供主机网络。Pod 始终用容器网络运行。podSecurityContext 参见下文shareProcessNamespace - 这是一个 beta 版功能特性，依赖于 Windows 上未实现的 Linux 命名空间。
Windows 无法共享进程命名空间或容器的根文件系统（root filesystem）。
只能共享网络。terminationGracePeriodSeconds - 这在 Windows 上的 Docker 中没有完全实现，
请参考 GitHub issue。
目前的行为是通过 CTRL_SHUTDOWN_EVENT 发送 ENTRYPOINT 进程，然后 Windows 默认等待 5 秒，
最后使用正常的 Windows 关机行为终止所有进程。
5 秒默认值实际上位于容器内的 Windows 注册表中，
因此在构建容器时可以覆盖这个值。volumeDevices - 这是一个 beta 版功能特性，未在 Windows 上实现。
Windows 无法将原始块设备挂接到 Pod。volumes
emptyDir 卷，则你无法将卷源设为 memory。mountPropagation，因为这在 Windows 上不支持。Kubernetes v1.26 [alpha]
现在，kubelet 可以请求在 Windows 节点上运行的 Pod 使用主机的网络命名空间，而不是创建新的 Pod 网络命名空间。
要启用此功能，请将 --feature-gates=WindowsHostNetwork=true 传递给 kubelet。
此功能需要支持该功能的容器运行时。
Pod 的 securityContext
中只有 securityContext.runAsNonRoot 和 securityContext.windowsOptions 字段在 Windows 上生效。
节点问题检测器（参考节点健康监测）初步支持 Windows。 有关更多信息，请访问该项目的 GitHub 页面。
在 Kubernetes Pod 中，首先创建一个基础容器或 “pause” 容器来承载容器。 在 Linux 中，构成 Pod 的 cgroup 和命名空间维持持续存在需要一个进程； 而 pause 进程就提供了这个功能。 属于同一 Pod 的容器（包括基础容器和工作容器）共享一个公共网络端点 （相同的 IPv4 和/或 IPv6 地址，相同的网络端口空间）。 Kubernetes 使用 pause 容器以允许工作容器崩溃或重启，而不会丢失任何网络配置。
Kubernetes 维护一个多体系结构的镜像，包括对 Windows 的支持。
对于 Kubernetes v1.28.4，推荐的 pause 镜像为 registry.k8s.io/pause:3.6。
可在 GitHub 上获得源代码。
Microsoft 维护一个不同的多体系结构镜像，支持 Linux 和 Windows amd64，
你可以找到的镜像类似 mcr.microsoft.com/oss/kubernetes/pause:3.6。
此镜像的构建与 Kubernetes 维护的镜像同源，但所有 Windows 可执行文件均由
Microsoft 进行了验证码签名。
如果你正部署到一个需要签名可执行文件的生产或类生产环境，
Kubernetes 项目建议使用 Microsoft 维护的镜像。
你需要将容器运行时安装到集群中的每个节点， 这样 Pod 才能在这些节点上运行。
以下容器运行时适用于 Windows：
Kubernetes v1.20 [stable]
对于运行 Windows 的 Kubernetes 节点，你可以使用 ContainerD 1.4.0+ 作为容器运行时。
将 GMSA 和 containerd 一起用于访问 Windows 网络共享时存在已知限制， 这需要一个内核补丁。
Mirantis 容器运行时（MCR） 可作为所有 Windows Server 2019 和更高版本的容器运行时。
有关更多信息，请参考在 Windows Server 上安装 MCR。
在 Windows 节点上，如果主机操作系统版本必须与容器基础镜像操作系统版本匹配， 则会应用严格的兼容性规则。 仅 Windows Server 2019 作为容器操作系统时，才能完全支持 Windows 容器。
对于 Kubernetes v1.28，Windows 节点（和 Pod）的操作系统兼容性如下：
也适用 Kubernetes 版本偏差策略。
对 Kubernetes 集群进行故障排查的主要帮助来源应始于故障排查页面。
本节包括了一些其他特定于 Windows 的故障排查帮助。 日志是解决 Kubernetes 中问题的重要元素。 确保在任何时候向其他贡献者寻求故障排查协助时随附了日志信息。 遵照 SIG Windows 日志收集贡献指南中的指示说明。
如果你发现疑似 bug，或者你想提出功能请求，请按照 SIG Windows 贡献指南 新建一个 Issue。 你应该先搜索 issue 列表，以防之前报告过这个问题，凭你对该问题的经验添加评论， 并随附日志信息。 Kubernetes Slack 上的 SIG Windows 频道也是一个很好的途径， 可以在创建工单之前获得一些初始支持和故障排查思路。
kubeadm 工具帮助你部署 Kubernetes 集群，提供管理集群的控制平面以及运行工作负载的节点。
Kubernetes 集群 API 项目也提供了自动部署 Windows 节点的方式。
有关 Windows 分发渠道的详细阐述，请参考 Microsoft 文档。
有关支持模型在内的不同 Windows Server 服务渠道的信息，请参考 Windows Server 服务渠道。
在许多组织中运行的服务和应用程序中，Windows 应用程序构成了很大一部分。 本指南将引导你完成在 Kubernetes 中配置和部署 Windows 容器的步骤。
以下示例 YAML 文件部署了一个在 Windows 容器内运行的简单 Web 服务器的应用程序。
创建一个名为 win-webserver.yaml 的 Service 规约，其内容如下：
apiVersion: v1
kind: Service
metadata:
name: win-webserver
labels:
app: win-webserver
spec:
ports:
# 此 Service 服务的端口
- port: 80
targetPort: 80
selector:
app: win-webserver
type: NodePort
---
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app: win-webserver
name: win-webserver
spec:
replicas: 2
selector:
matchLabels:
app: win-webserver
template:
metadata:
labels:
app: win-webserver
name: win-webserver
spec:
containers:
- name: windowswebserver
image: mcr.microsoft.com/windows/servercore:ltsc2019
command:
- powershell.exe
- -command
- "<#code used from https://gist.github.com/19WAS85/5424431#> ; $$listener = New-Object System.Net.HttpListener ; $$listener.Prefixes.Add('http://*:80/') ; $$listener.Start() ; $$callerCounts = @{} ; Write-Host('Listening at http://*:80/') ; while ($$listener.IsListening) { ;$$context = $$listener.GetContext() ;$$requestUrl = $$context.Request.Url ;$$clientIP = $$context.Request.RemoteEndPoint.Address ;$$response = $$context.Response ;Write-Host '' ;Write-Host('> {0}' -f $$requestUrl) ; ;$$count = 1 ;$$k=$$callerCounts.Get_Item($$clientIP) ;if ($$k -ne $$null) { $$count += $$k } ;$$callerCounts.Set_Item($$clientIP, $$count) ;$$ip=(Get-NetAdapter | Get-NetIpAddress); $$header='<html><body><H1>Windows Container Web Server</H1>' ;$$callerCountsString='' ;$$callerCounts.Keys | % { $$callerCountsString+='<p>IP {0} callerCount {1} ' -f $$ip[1].IPAddress,$$callerCounts.Item($$_) } ;$$footer='</body></html>' ;$$content='{0}{1}{2}' -f $$header,$$callerCountsString,$$footer ;Write-Output $$content ;$$buffer = [System.Text.Encoding]::UTF8.GetBytes($$content) ;$$response.ContentLength64 = $$buffer.Length ;$$response.OutputStream.Write($$buffer, 0, $$buffer.Length) ;$$response.Close() ;$$responseStatus = $$response.StatusCode ;Write-Host('< {0}' -f $$responseStatus) } ; "
nodeSelector:
kubernetes.io/os: windows
端口映射也是支持的，但为简单起见，此示例将容器的端口 80 直接暴露给服务。
检查所有节点是否健康
kubectl get nodes
部署 Service 并监视 Pod 更新：
kubectl apply -f win-webserver.yaml
kubectl get pods -o wide -w
当 Service 被正确部署时，两个 Pod 都被标记为就绪（Ready）。要退出 watch 命令，请按 Ctrl+C。
检查部署是否成功。请验证：
kubectl get pods 命令时，能够从 Linux 控制平面所在的节点上列出两个 Pod。curl 命令来访问
Pod IP 的 80 端口以检查 Web 服务器响应。docker exec 或 kubectl exec
命令进入容器，并在 Pod 之间（以及跨主机，如果你有多个 Windows 节点）相互进行 ping 操作。curl
命令来访问虚拟的服务 IP（在 kubectl get services 命令下查看）。curl 命令来访问带有 Kubernetes
默认 DNS 后缀的服务名称。curl 命令来访问 NodePort 服务。kubectl exec，从 Pod 内部执行 curl 访问外部 IP。由于当前 Windows 平台的网络堆栈限制，Windows 容器主机无法访问调度到其上的 Service 的 IP。 只有 Windows Pod 能够访问 Service IP。
日志是可观察性的重要元素；它们使用户能够深入了解工作负载的运行情况，并且是解决问题的关键因素。
由于 Windows 容器和 Windows 容器中的工作负载与 Linux 容器的行为不同，因此用户很难收集日志，从而限制了操作可见性。
例如，Windows 工作负载通常配置为记录到 ETW（Windows 事件跟踪）或向应用程序事件日志推送条目。
LogMonitor
是一个微软开源的工具，是监视 Windows 容器内所配置的日志源的推荐方法。
LogMonitor 支持监视事件日志、ETW 提供程序和自定义应用程序日志，将它们传送到 STDOUT 以供 kubectl logs <pod> 使用。
按照 LogMonitor GitHub 页面中的说明，将其二进制文件和配置文件复制到所有容器， 并为 LogMonitor 添加必要的入口点以将日志推送到标准输出（STDOUT）。
Windows 容器可以配置为使用不同于镜像默认值的用户名来运行其入口点和进程。 在这里了解更多信息。
Windows 容器工作负载可以配置为使用组托管服务帐户（Group Managed Service Accounts，GMSA）。 组托管服务帐户是一种特定类型的活动目录（Active Directory）帐户，可提供自动密码管理、 简化的服务主体名称（Service Principal Name，SPN）管理，以及将管理委派给多个服务器上的其他管理员的能力。 配置了 GMSA 的容器可以携带使用 GMSA 配置的身份访问外部活动目录域资源。 在此处了解有关为 Windows 容器配置和使用 GMSA 的更多信息。
用户需要使用某种污点（Taint）和节点选择器的组合，以便将 Linux 和 Windows 工作负载各自调度到特定操作系统的节点。 下面概述了推荐的方法，其主要目标之一是该方法不应破坏现有 Linux 工作负载的兼容性。
从 1.25 开始，你可以（并且应该）将每个 Pod 的 .spec.os.name 设置为 Pod 中的容器设计所用于的操作系统。
对于运行 Linux 容器的 Pod，将 .spec.os.name 设置为 linux。
对于运行 Windows 容器的 Pod，将 .spec.os.name 设置为 windows。
调度器在将 Pod 分配到节点时并不使用 .spec.os.name 的值。
你应该使用正常的 Kubernetes 机制将 Pod 分配给节点，
以确保集群的控制平面将 Pod 放置到运行适当操作系统的节点上。
.spec.os.name 值对 Windows Pod 的调度没有影响，
因此仍然需要污点和容忍以及节点选择器来确保 Windows Pod 落在适当的 Windows 节点。
用户可以使用污点（Taint）和容忍度（Toleration）确保将 Windows 容器调度至合适的主机上。 现在，所有的 Kubernetes 节点都有以下默认标签：
如果 Pod 规约没有指定像 "kubernetes.io/os": windows 这样的 nodeSelector，
则 Pod 可以被调度到任何主机上，Windows 或 Linux。
这可能会有问题，因为 Windows 容器只能在 Windows 上运行，而 Linux 容器只能在 Linux 上运行。
最佳实践是使用 nodeSelector。
但是，我们了解到，在许多情况下，用户已经预先存在大量 Linux 容器部署， 以及现成配置的生态系统，例如社区中的 Helm Chart 包和程序化的 Pod 生成案例，例如 Operator。 在这些情况下，你可能不愿更改配置来添加节点选择器。 另一种方法是使用污点。因为 kubelet 可以在注册过程中设置污点， 所以可以很容易地修改为，当只能在 Windows 上运行时，自动添加污点。
例如：--register-with-taints='os=windows:NoSchedule'
通过向所有 Windows 节点添加污点，任何负载都不会被调度到这些节点上（包括现有的 Linux Pod）。 为了在 Windows 节点上调度 Windows Pod，它需要 nodeSelector 和匹配合适的容忍度来选择 Windows。
nodeSelector:
kubernetes.io/os: windows
node.kubernetes.io/windows-build: '10.0.17763'
tolerations:
- key: "os"
operator: "Equal"
value: "windows"
effect: "NoSchedule"
每个 Pod 使用的 Windows Server 版本必须与节点的版本匹配。 如果要在同一个集群中使用多个 Windows Server 版本，则应设置额外的节点标签和节点选择器。
Kubernetes 1.17 自动添加了一个新标签 node.kubernetes.io/windows-build 来简化这一点。
如果你运行的是旧版本，则建议手动将此标签添加到 Windows 节点。
此标签反映了需要匹配以实现兼容性的 Windows 主要、次要和内部版本号。 以下是目前用于每个 Windows Server 版本的值。
| 产品名称 | 构建号 |
|---|---|
| Windows Server 2019 | 10.0.17763 |
| Windows Server, Version 20H2 | 10.0.19042 |
| Windows Server 2022 | 10.0.20348 |
RuntimeClass 可用于简化使用污点和容忍度的流程。
集群管理员可以创建一个用于封装这些污点和容忍度的 RuntimeClass 对象。
将此文件保存到 runtimeClasses.yml。它包括针对 Windows 操作系统、架构和版本的 nodeSelector。
---
apiVersion: node.k8s.io/v1
kind: RuntimeClass
metadata:
name: windows-2019
handler: example-container-runtime-handler
scheduling:
nodeSelector:
kubernetes.io/os: 'windows'
kubernetes.io/arch: 'amd64'
node.kubernetes.io/windows-build: '10.0.17763'
tolerations:
- effect: NoSchedule
key: os
operator: Equal
value: "windows"
以集群管理员身份运行 kubectl create -f runtimeClasses.yml
根据情况，向 Pod 规约中添加 runtimeClassName: windows-2019
例如：
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: iis-2019
labels:
app: iis-2019
spec:
replicas: 1
template:
metadata:
name: iis-2019
labels:
app: iis-2019
spec:
runtimeClassName: windows-2019
containers:
- name: iis
image: mcr.microsoft.com/windows/servercore/iis:windowsservercore-ltsc2019
resources:
limits:
cpu: 1
memory: 800Mi
requests:
cpu: .1
memory: 300Mi
ports:
- containerPort: 80
selector:
matchLabels:
app: iis-2019
---
apiVersion: v1
kind: Service
metadata:
name: iis
spec:
type: LoadBalancer
ports:
- protocol: TCP
port: 80
selector:
app: iis-2019