1
Slack 워크스페이스에서 앱 추가 -> Incoming WebHooks 검색 및 설치.

생성된 https://hooks.slack.com/services/XXXXX... 주소를 복사해 둡니다.



2

vi alertmanager-values.yaml



# alertmanager-values.yaml


alertmanager:
  config:
    global:
      slack_api_url: 'https://hooks.slack.com/services/위에서_복사한_URL'
    route:
      group_by: ['alertname', 'cluster', 'service']
      group_wait: 30s
      group_interval: 5m
      repeat_interval: 12h # 너무 자주 오지 않게 설정
      receiver: 'slack-notifications'
    receivers:
    - name: 'slack-notifications'
      slack_configs:
      - channel: '#eks-alerts'
        send_resolved: true # 문제 해결 시에도 알림 전송
        title: '[{{ .Status | upper }}] EKS 리소스 경고'
        text: >-
          {{ range .Alerts }}
            *경고 내용:* {{ .Annotations.summary }}
            *상세 설명:* {{ .Annotations.description }}
            *심각도:* {{ .Labels.severity }}
          {{ end }}





alertmanager:
  config:
    global:
      slack_api_url: 'https://hooks.slack.com/services/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'
    route:
      group_by: ['alertname', 'cluster', 'service']
      group_wait: 30s
      group_interval: 5m
      repeat_interval: 12h # 너무 자주 오지 않게 설정
      receiver: 'slack-notifications'
    receivers:
    - name: 'slack-notifications'
      slack_configs:
      - channel: '#eks-alerts'
        send_resolved: true # 문제 해결 시에도 알림 전송
        title: '[{{ .Status | upper }}] EKS 리소스 경고'
        text: >-
          {{ range .Alerts }}
            *경고 내용:* {{ .Annotations.summary }}
            *상세 설명:* {{ .Annotations.description }}
            *심각도:* {{ .Labels.severity }}
          {{ end }}





helm upgrade monitoring prometheus-community/kube-prometheus-stack --namespace monitoring -f alertmanager-values.yaml



3

Prometheus Rule 설정 (500 에러 감시)
Prometheus에 "특정 서비스에서 5분 동안 500 에러가 5개 이상 발생하면 알림을 보내라"는 규칙을 추가해야 합니다.


vi custom-alert-rules.yaml

# custom-alert-rules.yaml
additionalPrometheusRulesMap:
  custom-rules:
    groups:
      - name: microservice-alerts
        rules:
          - alert: High5xxErrorRate
            # Prometheus 쿼리: 500 계열 에러의 초당 발생률이 0보다 클 때
            expr: sum(rate(alb_ingress_httpcode_target_5xx_count[5m])) by (ingress, service) > 0
            for: 1m
            labels:
              severity: critical
            annotations:
              summary: "🚨 서비스 에러 발생: {{ $labels.service }}"
              description: "인그레스 {{ $labels.ingress }}에서 5xx 에러가 발생하고 있습니다. 즉시 확인이 필요합니다."



helm upgrade monitoring prometheus-community/kube-prometheus-stack --namespace monitoring -f custom-alert-rules.yaml