KEDA + Argo Rollouts로 AI 에이전트(MCP) 서버 카나리 배포·자동 롤백 구현하기

# 주의: KEDA는 내부적으로 HPA를 자동 생성한다
# 기존 HPA가 있으면 충돌하므로, 반드시 HPA를 먼저 제거하고 ScaledObject만 사용할 것
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
spec:
  scaleTargetRef:
    apiVersion: argoproj.io/v1alpha1  # Deployment가 아닌 Rollout CRD를 타겟
    kind: Rollout
    name: mcp-server

[배포 파이프라인]
10% 카나리 → 2분 대기 → 30% 카나리
  → AnalysisTemplate 평가 (성공률 ≥ 95%?)
    ✅ 성공 → 60% → 100% (프로모션 완료)
    ❌ 실패 → stable 100% 복구 (자동 롤백)

[MCP 클라이언트 (AI Agent)]
        ↓ 요청 트래픽
[Ingress / Istio VirtualService]
    ↙ (stable 90%)    ↘ (canary 10%)
[Rollout - Stable Pod]  [Rollout - Canary Pod]
        ↕                       ↕
[KEDA ScaledObject — 이벤트 기반 스케일링]
                 ↕
[Prometheus → AnalysisTemplate → 자동 프로모션/롤백]

kubectl apply -f destination-rule.yaml    # 예시 1: Istio 서브셋 정의
kubectl apply -f virtual-service.yaml     # 예시 1: 트래픽 라우팅 초기 구성
kubectl apply -f rollout.yaml             # 예시 2: Argo Rollout
kubectl apply -f analysis-template.yaml   # 예시 3: 자동 품질 게이트
kubectl apply -f scaled-object.yaml       # 예시 4: KEDA 오토스케일러

# destination-rule.yaml
# VirtualService의 subset(stable/canary) 참조에 필요한 선행 리소스
apiVersion: networking.istio.io/v1alpha3
kind: DestinationRule
metadata:
  name: mcp-server-destrule
  namespace: ai-services
spec:
  host: mcp-server   # Kubernetes Service 이름과 일치해야 함
  subsets:
    - name: stable
      labels:
        app: mcp-server
        # Argo Rollouts가 stable 파드에 rollouts-pod-template-hash 레이블을 자동 추가
    - name: canary
      labels:
        app: mcp-server

# virtual-service.yaml
# 초기 가중치는 Argo Rollouts가 배포 단계마다 자동으로 수정한다
# 수동으로 편집하면 Rollout 상태와 불일치가 발생하므로 주의
apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: mcp-server-vsvc
  namespace: ai-services
spec:
  hosts:
    - mcp-server
  http:
    - name: primary
      route:
        - destination:
            host: mcp-server
            subset: stable
          weight: 100    # 초기값. 배포 시작 후 Argo Rollouts가 자동 조정
        - destination:
            host: mcp-server
            subset: canary
          weight: 0

# rollout.yaml
apiVersion: argoproj.io/v1alpha1
kind: Rollout
metadata:
  name: mcp-server
  namespace: ai-services
spec:
  replicas: 4
  selector:
    matchLabels:
      app: mcp-server
  template:
    metadata:
      labels:
        app: mcp-server
    spec:
      containers:
        - name: mcp-server
          image: my-org/mcp-server:v2.0.0   # 실제 이미지 주소로 교체
          ports:
            - containerPort: 8080
  strategy:
    canary:
      steps:
        - setWeight: 10            # 1단계: 10% 트래픽을 카나리로
        - pause: {duration: 2m}    # 2분 관찰
        - setWeight: 30
        - analysis:                # 자동 품질 분석 실행
            templates:
              - templateName: mcp-success-rate
            args:
              - name: canary-hash
                valueFrom:
                  podTemplateHashValue: Latest  # 현재 카나리 파드 해시를 AnalysisRun에 주입
        - setWeight: 60
        - pause: {duration: 5m}    # 5분 추가 관찰
        - setWeight: 100           # 전체 프로모션
      trafficRouting:
        istio:
          virtualService:
            name: mcp-server-vsvc
            routes:
              - primary
          destinationRule:
            name: mcp-server-destrule
            canarySubsetName: canary
            stableSubsetName: stable

# analysis-template.yaml
apiVersion: argoproj.io/v1alpha1
kind: AnalysisTemplate
metadata:
  name: mcp-success-rate
  namespace: ai-services
spec:
  args:
    - name: canary-hash   # Rollout의 analysis.args에서 주입받는 변수 선언
  metrics:
    - name: success-rate
      interval: 60s         # 60초마다 평가 (Prometheus 스크레이프 주기 15s의 4배 이상 권장)
      failureLimit: 3       # 3번 연속 실패 시 롤백 (일시적 메트릭 이상에 의한 오탐 방지)
      # result[0]: Prometheus 쿼리가 단일 스칼라 값을 반환할 때의 접근 방식
      # 벡터(시계열 집합) 쿼리는 result 구조가 다르므로 주의
      successCondition: result[0] >= 0.95
      provider:
        prometheus:
          address: http://prometheus.monitoring:9090
          query: |
            # rate(metric[2m]): 지난 2분 동안의 초당 평균 증가율 계산
            # sum(): 여러 파드의 값을 합산
            # {version="{{args.canary-hash}}"}: 카나리 파드만 필터링
            #   이 레이블 없이 전체를 집계하면 카나리 오류가 stable에 희석되어 문제를 감지 못 함
            sum(rate(mcp_requests_total{status="success",
              version="{{args.canary-hash}}"}[2m]))
            /
            sum(rate(mcp_requests_total{
              version="{{args.canary-hash}}"}[2m]))
    - name: error-rate
      interval: 60s
      failureLimit: 2
      successCondition: result[0] <= 0.05   # 오류율 5% 이하
      provider:
        prometheus:
          address: http://prometheus.monitoring:9090
          query: |
            sum(rate(mcp_requests_total{status="error",
              version="{{args.canary-hash}}"}[2m]))
            /
            sum(rate(mcp_requests_total{
              version="{{args.canary-hash}}"}[2m]))

# scaled-object.yaml
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: mcp-server-scaler
  namespace: ai-services
spec:
  scaleTargetRef:
    apiVersion: argoproj.io/v1alpha1
    kind: Rollout            # Deployment가 아닌 Rollout을 타겟
    name: mcp-server
  minReplicaCount: 2         # 카나리 단계에서 최소 replica가 2 이상이어야 가중치 계산이 올바름
  maxReplicaCount: 20
  cooldownPeriod: 60         # 단위: 초(seconds). 스케일 다운 전 60초 대기
  triggers:
    - type: prometheus
      metadata:
        serverAddress: http://prometheus.monitoring:9090
        metricName: mcp_active_connections
        query: sum(mcp_active_connections{namespace="ai-services"})
        threshold: "50"       # 활성 연결 50개당 파드 1개
    - type: prometheus
      metadata:
        serverAddress: http://prometheus.monitoring:9090
        metricName: mcp_request_queue_depth
        query: sum(mcp_request_queue_depth{namespace="ai-services"})
        threshold: "100"      # 큐 깊이 100당 파드 1개

# Rollout 단계 및 AnalysisRun 상태 확인
kubectl argo rollouts get rollout mcp-server --watch -n ai-services
 
# KEDA ScaledObject 동작 확인
kubectl get scaledobject mcp-server-scaler -n ai-services