「KUBERNETES」- Taints and Tolerations

该笔记将记录：如何控制 Node 与 Pod 的调度，如何从一个节点中驱除 Pod 实例，如何将 Pod 调度到带有”污点“的节点；

认识

官网：
文档：https://kubernetes.io/docs/concepts/configuration/taint-and-toleration/
仓库：

该笔记仅作简单记录，详细细节及更多参数，参考 Taints and Tolerations 文档；

英语单词

taint，[teɪnt]，腐坏、污染
tolerations，[ˌtɑːləˈreɪʃn]，忍受、容忍

基础概念

在 Assigning Pods to Nodes 中，描述如何将 Pod 运行在特定的节点上（不管是强制还建议）。而 taint 恰巧相反，它使节点驱逐 Pod 实例；

将某个节点标记为”污染“（taint）后，任何不能够”容忍“（toleration）污染的 Pod 实例，都无法运行在该节点中。因此 taint 是作用于节点，而 toleration 则是作用于 Pod 实例；

如果在 Pod 的 spec 中定义 toleration 字段，那么 Pod 才会调度到满足该条件的”污染节点“。可以说：这个 Pod 能够容忍节点的污染；

基础操作

How can I list the taints on my nodes?

应用

常用 Taint 信息

dedicated: service-xxxx # 用于运行业务的节点
dedicated: application-dependency # 用于运行中间件的节点
dedicated: observing-system # 用于运行观测服务的节点

容忍特定 Taint 配置

tolerations:
- key: "key1"
  operator: "Equal"
  value: "value1"
  effect: "NoSchedule"
  
tolerations:
- key: "key1"
  operator: "Exists"
  effect: "NoSchedule"

案例：防止 Pod 调度到 Node 上（Taint）

例如，某个节点不稳定，我们不希望 Pod 被调度到该节点上。可以执行如下命令：

# ----------------------------------------------------------------------------- # 添加 Taint

# node1：节点名称
# problem=unstable：自定义 KEY=VALUE 形式的标签
# NoSchedule：三种行为之一，表示不要向该节点调度 Pod 实例；
kubectl taint nodes "node1" problem=unstable:NoSchedule

# ----------------------------------------------------------------------------- # 移除 Taint

# 后缀减号（-）表示删除
kubectl taint nodes "node1" problem:NoSchedule-

# ----------------------------------------------------------------------------- # 修改 Taint

# WIP

# ----------------------------------------------------------------------------- # 查看 Taint

kubectl get nodes -o json | jq '.items[].spec'

在添加污点后，将不会把 Pod 再调度到该 Node 上。但是，如果想驱逐正在该节点上运行的 Pod 实例，将命令中的 NoSchedule 替换为 NoExecute 即可；

场景 | 使 Pod 调度到 Node 上（Toleration）

该节点在被标记为 taint 之后，我们依旧可以将 Pod 调度到该节点上。只需要修改 Pod 定义：

apiVersion: v1
kind: Pod
metadata:
  name: nginx
spec:
  containers:
  - name: nginx
    image: nginx
    imagePullPolicy: IfNotPresent
  ####### 需要添加的部分 Start #######
  tolerations:
  - key: "problem"
    operator: "Exists"
    effect: "NoSchedule"
  ####### 需要添加的部分 End #######

上面的”需要添加的部分“表示：如果可以调度到”存在 key 为 problem“且”效果为 NoSchedule“的节点上；

场景 | 允许 Pod 调度到 Master 节点

Scheduler is not scheduling Pod for DaemonSet in Master node
coreos – Allow scheduling of pods on Kubernetes master? – Stack Overflow

通过删除节点 Taint 实现：

kubectl taint node "<node name>" node-role.kubernetes.io/master:NoSchedule-

场景 | 容忍所有污点 | Toleration Everything

Taints and Tolerations | Kubernetes

问题描述：针对某些 Pod（监控收集、日志采集），需要调度到所有的节点上，所以这些 Pod 需要容忍各种污点。

解决方案：

Note:
There are two special cases:

An empty key with operator Exists matches all keys, values and effects which means this will tolerate everything.

An empty effect matches all effects with key key1.

tolerations:
- key: ""
  operator: "Exists"

「KUBERNETES」- Taints and Tolerations | 学习笔记

认识