К8s Cost
Optimization
Guide

# 1. Утилизация ресурсов по узлам
kubectl top nodes

# 2. Запросы vs лимиты по namespace
kubectl describe nodes | grep -A6 "Allocated resources"

# 3. Поды без requests/limits (КРИТИЧНО)
kubectl get pods -A -o json | jq '.items[] |
  select(.spec.containers[].resources.requests == null) |
  "\(.metadata.namespace)/\(.metadata.name)"'

# 4. Idle pods (CPU < 10m за 30 мин)
kubectl top pods -A --sort-by=cpu | head -50

# 5. Orphaned PVC (не привязанные к активным подам)
kubectl get pvc -A | grep -v Bound

# 6. Namespace resource summary
kubectl get resourcequota -A

# Установить kube-capacity (лучший инструмент для baseline)
kubectl krew install resource-capacity

# По узлам — requests vs actual utilization
kubectl resource-capacity --util --pods

# По namespace с CPU/Memory details
kubectl resource-capacity --util --namespace-labels

resources:
  requests:
    cpu: "100m"      # P95 реального использования
    memory: "128Mi"   # P95 реального использования
  limits:
    cpu: "500m"      # Позволяем burst, CPU throttle некритичен
    memory: "256Mi"   # P99 + буфер; OOM kill нежелателен

apiVersion: autoscaling.k8s.io/v1
kind: VerticalPodAutoscaler
metadata:
  name: my-app-vpa
spec:
  targetRef:
    apiVersion: "apps/v1"
    kind:       Deployment
    name:       my-app
  updatePolicy:
    updateMode: "Off"   # Только рекомендации, без изменений
  resourcePolicy:
    containerPolicies:
    - containerName: "*"
      minAllowed:
        cpu:    50m
        memory: 64Mi
      maxAllowed:
        cpu:    "4"
        memory: 4Gi

kubectl describe vpa my-app-vpa -n production
# Смотрим: status.recommendation.containerRecommendations
# lowerBound = минимально безопасные значения
# target = рекомендуемые
# upperBound = максимальный потолок

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: api-service
  minReplicas: 2
  maxReplicas: 20
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 65   # Не 80% — оставляем буфер
  behavior:
    scaleDown:
      stabilizationWindowSeconds: 300  # 5 мин стабилизация вниз
      policies:
      - type: Pods
        value: 1
        periodSeconds: 60    # Удалять не более 1 пода в минуту
    scaleUp:
      stabilizationWindowSeconds: 0   # Scale up немедленно

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
spec:
  minReplicaCount: 0   # ← scale to zero!
  maxReplicaCount: 5
  triggers:
  - type: cron
    metadata:
      timezone: "Europe/Moscow"
      start:   "0 9 * * 1-5"    # Старт в 9:00 пн-пт
      end:     "0 20 * * 1-5"   # Стоп в 20:00
      desiredReplicas: "3"    # Рабочее количество

---
apiVersion: v1
kind: ResourceQuota
metadata:
  name: team-quota
  namespace: team-backend
spec:
  hard:
    # Compute
    requests.cpu:     "20"
    requests.memory:  40Gi
    limits.cpu:       "40"
    limits.memory:    80Gi
    # Object count (namespace sprawl protection)
    pods: "100"
    persistentvolumeclaims: "20"
    requests.storage: 200Gi
---
apiVersion: v1
kind: LimitRange
metadata:
  name: default-limits
  namespace: team-backend
spec:
  limits:
  - type: Container
    default:         # Limits если не указаны
      cpu: 500m
      memory: 512Mi
    defaultRequest:  # Requests если не указаны
      cpu: 100m
      memory: 128Mi
    max:             # Потолок на контейнер
      cpu: "4"
      memory: 8Gi
    min:
      cpu: 50m
      memory: 64Mi
    maxLimitRequestRatio:  # Limit не может превышать request в N раз
      cpu: 10
      memory: 4

apiVersion: kyverno.io/v1
kind: ClusterPolicy
metadata:
  name: require-resource-requests
spec:
  rules:
  - name: check-resource-requests
    match:
      resources:
        kinds: [Pod]
    validate:
      message: "CPU и memory requests обязательны"
      pattern:
        spec:
          containers:
          - resources:
              requests:
                memory: "?*"
                cpu:    "?*"

# 1. Найти orphaned PVC (не привязаны к запущенным подам)
kubectl get pvc -A -o json | jq '.items[] |
  select(.status.phase != "Bound") |
  "\(.metadata.namespace)/\(.metadata.name): \(.spec.resources.requests.storage)"'

# 2. Найти Completed/Failed Jobs старше 24 часов
kubectl get jobs -A -o json | jq '.items[] |
  select(.status.completionTime != null) |
  "\(.metadata.namespace)/\(.metadata.name)"'

# 3. Инструмент kor — находит всё сразу
# github.com/yonahd/kor
kor all --namespace production

# 4. TTL-based cleanup для Jobs автоматически
# В spec Jobs добавить:
# ttlSecondsAfterFinished: 3600  (удалить через 1 час после завершения)

# 5. kube-janitor для namespace TTL
# Аннотация на namespace:
# janitor/ttl: 7d  — удалить namespace через 7 дней

apiVersion: batch/v1
kind: Job
spec:
  ttlSecondsAfterFinished: 3600  # Автоудаление
  backoffLimit: 3
  template:
    spec:
      restartPolicy: Never
      containers:
      - name: worker
        resources:           # Обязательно для batch!
          requests:
            cpu: 200m
            memory: 256Mi
          limits:
            cpu: "2"
            memory: 1Gi

spec:
  tolerations:
  - key: "kubernetes.io/spot"
    operator: "Equal"
    value: "true"
    effect: "NoSchedule"
  affinity:
    nodeAffinity:
      preferredDuringSchedulingIgnoredDuringExecution:
      - weight: 100
        preference:
          matchExpressions:
          - key: "node.kubernetes.io/lifecycle"
            operator: "In"
            values: ["spot"]
  topologySpreadConstraints:  # Разнести по AZ для надёжности
  - maxSkew: 1
    topologyKey: "topology.kubernetes.io/zone"
    whenUnsatisfiable: "DoNotSchedule"

# CPU utilization vs requests по namespace
sum(rate(container_cpu_usage_seconds_total[5m])) by (namespace)
  /
sum(kube_pod_container_resource_requests{resource="cpu"}) by (namespace)

# Pods без resource requests (алерт = любое значение > 0)
count(kube_pod_container_info) unless
  count(kube_pod_container_resource_requests{resource="cpu"})

# Idle nodes (utilization < 20%)
sum(kube_node_status_allocatable{resource="cpu"}) by (node)
  - sum(kube_pod_container_resource_requests{resource="cpu"}) by (node)

# OOMKill за последние 24h
increase(kube_pod_container_status_last_terminated_reason{
  reason="OOMKilled"}[24h])