Goldilocks VPA 추천값을 Argo CD Pull Request Generator로 자동화하는 GitOps 파이프라인 구축

# Goldilocks가 자동 생성하는 VPA 객체 예시
apiVersion: autoscaling.k8s.io/v1
kind: VerticalPodAutoscaler
metadata:
  name: my-api-server
  namespace: production
spec:
  targetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: my-api-server
  updatePolicy:
    updateMode: "Off"   # 핵심: 재시작 없이 추천만
status:
  recommendation:
    containerRecommendations:
    - containerName: app
      target:
        cpu: "250m"
        memory: "512Mi"
      lowerBound:
        cpu: "100m"
        memory: "256Mi"
      upperBound:
        cpu: "500m"
        memory: "1Gi"

kubectl label namespace production goldilocks.fairwinds.com/enabled=true

Goldilocks Controller
    ↓  (네임스페이스 감시 → VPA 객체 생성)
VPA Recommender
    ↓  (실제 사용 패턴 기반 추천값 축적)
Kubernetes CronJob
    ↓  (kubectl/API로 추천값 추출)
GitHub PR 자동 생성
    ↓  (values.yaml 수정 + PR 제출)
Argo CD ApplicationSet
    ↓  (PR Generator → Preview 환경 자동 배포)
코드 리뷰 & 머지
    ↓
Argo CD Sync → 클러스터 적용
    ↓
Prometheus + Grafana (비용/성능 모니터링)

kubectl create secret generic github-token \
  --from-literal=token=<YOUR_FINE_GRAINED_PAT> \
  -n goldilocks

# vpa-reader-rbac.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: vpa-reader
  namespace: goldilocks
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: vpa-reader
rules:
- apiGroups: ["autoscaling.k8s.io"]
  resources: ["verticalpodautoscalers"]
  verbs: ["get", "list"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: vpa-reader
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: vpa-reader
subjects:
- kind: ServiceAccount
  name: vpa-reader
  namespace: goldilocks

# goldilocks-pr-bot-cronjob.yaml
apiVersion: batch/v1
kind: CronJob
metadata:
  name: goldilocks-pr-bot
  namespace: goldilocks
spec:
  schedule: "0 9 * * 1"   # 매주 월요일 오전 9시
  jobTemplate:
    spec:
      template:
        spec:
          serviceAccountName: vpa-reader
          containers:
          - name: pr-bot
            image: my-registry/pr-bot:1.0.0   # kubectl + jq + yq + gh 포함 커스텀 이미지
            env:
            - name: GITHUB_TOKEN
              valueFrom:
                secretKeyRef:
                  name: github-token
                  key: token
            - name: DELTA_THRESHOLD
              value: "0.2"   # 20% 이상 차이날 때만 PR 생성
            command:
            - /bin/sh
            - -c
            - |
              # 1. VPA 추천값 추출 (사이드카 컨테이너 제외)
              kubectl get vpa -A -o json | jq -r '
                .items[] |
                .metadata.namespace + "/" + .metadata.name + " " +
                (.status.recommendation.containerRecommendations[]? |
                  select(.containerName != "istio-proxy") |
                  select(.containerName != "linkerd-proxy") |
                  .containerName + " cpu=" + .target.cpu +
                  " mem=" + .target.memory)
              ' > /tmp/recommendations.txt
 
              # 2. PR 생성 스크립트 호출
              /scripts/create-pr.sh /tmp/recommendations.txt
          restartPolicy: OnFailure

#!/bin/bash
# create-pr.sh
set -euo pipefail
 
BRANCH="chore/resource-update-$(date +%Y%m%d)"
REPO_DIR="/workspace/k8s-manifests"
THRESHOLD=${DELTA_THRESHOLD:-0.2}
 
# Git 설정
git config --global user.email "bot@example.com"
git config --global user.name "Goldilocks Bot"
 
# 이전 실행에서 남은 디렉토리 정리
rm -rf "$REPO_DIR"
git clone "https://x-access-token:${GITHUB_TOKEN}@github.com/my-org/k8s-manifests" "$REPO_DIR" \
  || { echo "ERROR: git clone failed"; exit 1; }
 
cd "$REPO_DIR"
git checkout -b "$BRANCH"
 
CHANGED=false
 
while IFS=' ' read -r ns_name container cpu_rec mem_rec; do
  NAMESPACE=$(echo "$ns_name" | cut -d/ -f1)
  APP=$(echo "$ns_name" | cut -d/ -f2)
  VALUES_FILE="helm/${APP}/values.yaml"
 
  [ ! -f "$VALUES_FILE" ] && continue
 
  # 현재값과 추천값 비교 (delta 필터링)
  CURRENT_CPU=$(yq e ".resources.requests.cpu" "$VALUES_FILE") \
    || { echo "WARN: yq parse failed for $VALUES_FILE, skipping"; continue; }
  CPU_VAL=$(echo "$cpu_rec" | sed 's/cpu=//')
 
  # 변화폭이 임계값 이상일 때만 업데이트 (target * 1.2 안전 마진 적용)
  if python3 -c "
import sys
def parse_cpu(v):
    if v.endswith('m'): return float(v[:-1])
    return float(v) * 1000
cur = parse_cpu('$CURRENT_CPU')
rec = parse_cpu('$CPU_VAL') * 1.2  # 20% 안전 마진
diff = abs(cur - rec) / cur if cur > 0 else 1
sys.exit(0 if diff >= $THRESHOLD else 1)
  "; then
    MEM_VAL=$(echo "$mem_rec" | sed 's/mem=//')
    # 안전 마진 적용된 값으로 업데이트
    SAFE_CPU=$(python3 -c "
def parse_cpu(v):
    if v.endswith('m'): return float(v[:-1])
    return float(v) * 1000
print(str(int(parse_cpu('$CPU_VAL') * 1.2)) + 'm')
    ")
    yq e ".resources.requests.cpu = \"${SAFE_CPU}\"" -i "$VALUES_FILE"
    yq e ".resources.requests.memory = \"${MEM_VAL}\"" -i "$VALUES_FILE"
    CHANGED=true
    echo "Updated: $APP (cpu: $CURRENT_CPU → $SAFE_CPU)"
  fi
done < "$1"
 
# 변경 사항이 있을 때만 PR 생성
if [ "$CHANGED" = true ]; then
  git add -A
  git commit -m "chore: update resource requests from Goldilocks recommendations $(date +%Y-%m-%d)"
  git push origin "$BRANCH" \
    || { echo "ERROR: git push failed"; exit 1; }
 
  gh pr create \
    --title "chore: Goldilocks resource right-sizing $(date +%Y-%m-%d)" \
    --body-file /scripts/pr-template.md \
    --label "resource-optimization" \
    --label "automated"
fi

## Goldilocks Resource Right-sizing
 
이 PR은 VPA 추천값 기반으로 자동 생성되었습니다.
 
### 변경 내용
 
| 서비스 | 변경 전 CPU | 변경 후 CPU | 변경 전 Memory | 변경 후 Memory |
|--------|------------|------------|---------------|---------------|
| (스크립트가 채워넣는 영역) | | | | |
 
### 예상 비용 절감
 
- 월 예상 절감: $XXX (Karpenter 노드 크기 감소 포함)
 
### 검증 방법
 
- [ ] Preview 환경 정상 배포 확인
- [ ] 파드 재시작 후 CrashLoopBackOff 없음 확인
- [ ] 주요 메트릭 (응답시간, 에러율) 이상 없음 확인

# resource-update-preview-appset.yaml
apiVersion: argoproj.io/v1alpha1
kind: ApplicationSet
metadata:
  name: resource-update-previews
  namespace: argocd
spec:
  generators:
  - pullRequest:
      github:
        owner: my-org
        repo: k8s-manifests
        labels:
        - resource-optimization   # Goldilocks PR 레이블만 필터링
        tokenRef:
          secretName: github-token
          key: token
      requeueAfterSeconds: 300   # 5분마다 PR 상태 재확인
  template:
    metadata:
      # 슬래시 제거 + 50자 이내로 잘라서 네임스페이스 이름 유효성 확보
      name: "preview-{{branch | replace '/' '-' | truncate 50}}"
    spec:
      project: default
      source:
        repoURL: https://github.com/my-org/k8s-manifests
        targetRevision: "{{head_sha}}"
        path: helm/my-app
        helm:
          valueFiles:
          - values.yaml
      destination:
        server: https://kubernetes.default.svc
        namespace: "preview-{{branch | replace '/' '-' | truncate 50}}"
      syncPolicy:
        automated:
          prune: true
          selfHeal: true
        syncOptions:
        - CreateNamespace=true
        - ServerSideApply=true