Flagger 단일 CRD로 카나리 배포 단순화하기: KEDA ScaledObject 분리 문제부터 Argo CD ApplicationSet 멀티클러스터 MCP 서버 자동화까지

primary-deployment     ← Deployment (메인)
canary-deployment      ← Deployment (카나리)
primary-scaledobject   ← KEDA ScaledObject (primary용)
canary-scaledobject    ← KEDA ScaledObject (canary용)
canary-analysis        ← AnalysisTemplate (Argo Rollouts)
canary-analysisrun     ← AnalysisRun (실행 중인 분석)

apiVersion: flagger.app/v1beta1
kind: Canary
metadata:
  name: mcp-server
  namespace: ai-platform
spec:
  # 대상 Deployment — 원본은 건드리지 않음
  targetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: mcp-server
 
  # KEDA ScaledObject를 Flagger가 관리하도록 위임
  autoscalerRef:
    apiVersion: keda.sh/v1alpha1
    kind: ScaledObject
    name: mcp-server
    primaryScalerQueries:
      # primary: 큐 depth 기반 스케일링
      queueLength: "sum(keda_scaler_metrics_value{scaledObject='mcp-server-primary'})"
    canaryScalerQueries:
      # canary: 더 낮은 임계값으로 보수적 스케일링
      queueLength: "sum(keda_scaler_metrics_value{scaledObject='mcp-server-canary'})"
 
  # 서비스 메시 트래픽 제어
  service:
    port: 8080
    targetPort: 8080
    gateways:
      - public-gateway.istio-system.svc.cluster.local
 
  # 카나리 분석 — AnalysisTemplate 불필요
  analysis:
    interval: 1m
    threshold: 5          # 5번 실패 시 롤백
    maxWeight: 50         # 최대 50%까지 카나리로 전송
    stepWeight: 10        # 10%씩 증가
    metrics:
      - name: request-success-rate
        thresholdRange:
          min: 99
        interval: 1m
      - name: request-duration
        thresholdRange:
          max: 500        # 500ms 이내
        interval: 1m
    webhooks:
      - name: load-test
        url: http://flagger-loadtester.test/
        timeout: 5s
        metadata:
          cmd: "hey -z 1m -q 10 -c 2 http://mcp-server-canary.ai-platform/"

# Flagger가 자동 관리 — 직접 수정 불필요
metadata:
  annotations:
    autoscaling.keda.sh/paused-replicas: "0"

# 기존 ScaledObject — 이 파일은 그대로 유지
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: mcp-server
  namespace: ai-platform
spec:
  scaleTargetRef:
    name: mcp-server
  minReplicaCount: 1
  maxReplicaCount: 20
  triggers:
    - type: prometheus
      metadata:
        serverAddress: http://prometheus.monitoring:9090
        metricName: mcp_request_queue_depth
        query: sum(mcp_request_queue_depth{service="mcp-server"})
        threshold: "10"

1. mcp-server Deployment의 이미지 태그 변경 (예: v1 → v2)
   ↓
2. Flagger가 변경 감지 → Canary 분석 시작
   ↓
3. KEDA ScaledObject에 paused-replicas: 0 annotation 추가
   (스케일링 일시 중단, 파드 수 고정)
   ↓
4. 트래픽 10% → 20% → ... → 50% (stepWeight 기준)
   각 단계마다 Prometheus 메트릭 분석
   ↓
5-A. 분석 성공 → promotion: canary가 primary로 승격
     KEDA annotation 제거, 스케일링 재개
5-B. 분석 실패 (5회 임계값 초과) → rollback
     트래픽 100% primary로 복귀, canary 파드 0으로 축소

# Argo CD에 클러스터 등록 시 레이블 부여
argocd cluster add prod-cluster-kr \
  --label env=production \
  --label region=kr \
  --label team=platform
 
argocd cluster add prod-cluster-jp \
  --label env=production \
  --label region=jp \
  --label team=platform

apiVersion: argoproj.io/v1alpha1
kind: ApplicationSet
metadata:
  name: mcp-server-canary
  namespace: argocd
spec:
  generators:
    - clusters:
        selector:
          matchLabels:
            env: production
            team: platform    # platform 팀 클러스터만 대상
        values:
          # 클러스터별 오버라이드 가능한 기본값
          minReplicas: "2"
          maxReplicas: "20"
 
  template:
    metadata:
      name: "mcp-server-{{name}}"    # 클러스터 이름이 자동 삽입
      annotations:
        # Progressive sync: 첫 번째 웨이브 클러스터 배포 후 5분 대기
        argocd.argoproj.io/sync-wave: "{{metadata.labels.region}}"
    spec:
      project: ai-platform
      source:
        repoURL: https://github.com/my-org/mcp-server-helm
        targetRevision: HEAD
        path: charts/mcp-server
        helm:
          valueFiles:
            - values.yaml
            - "values-{{metadata.labels.region}}.yaml"   # 리전별 설정
          parameters:
            - name: autoscaling.minReplicas
              value: "{{values.minReplicas}}"
            - name: autoscaling.maxReplicas
              value: "{{values.maxReplicas}}"
            - name: flagger.enabled
              value: "true"
      destination:
        server: "{{server}}"          # 클러스터 API 서버 URL 자동 삽입
        namespace: ai-platform
      syncPolicy:
        automated:
          prune: true
          selfHeal: true
        syncOptions:
          - CreateNamespace=true

# charts/mcp-server/templates/canary.yaml
{{- if .Values.flagger.enabled }}
apiVersion: flagger.app/v1beta1
kind: Canary
metadata:
  name: mcp-server
  namespace: {{ .Release.Namespace }}
spec:
  targetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: mcp-server
  autoscalerRef:
    apiVersion: keda.sh/v1alpha1
    kind: ScaledObject
    name: mcp-server
  service:
    port: {{ .Values.service.port }}
    gateways:
      - {{ .Values.flagger.gateway }}
  analysis:
    interval: 1m
    threshold: 3
    maxWeight: 30       # MCP 서버는 보수적으로 30%까지만
    stepWeight: 5
    metrics:
      - name: request-success-rate
        thresholdRange:
          min: 99.5
        interval: 1m
      - name: mcp-tool-call-latency
        templateRef:
          name: mcp-latency-template   # 커스텀 메트릭 템플릿
          namespace: flagger-system
        thresholdRange:
          max: 2000     # LLM 툴 호출은 2초 이내
        interval: 1m
{{- end }}