🔌⚡ Circuit Breaker + 캐시 기반 헬스체크: 마이크로서비스 안정성의 완벽한 조합

📖 배경: 왜 이 조합이 필요했나?

Bible Card SaaS는 8개의 마이크로서비스로 구성된 복잡한 시스템입니다. 각 서비스가 독립적으로 운영되면서도 서로 통신해야 하는 환경에서, 단일 서비스의 장애가 전체 시스템을 마비시키는 연쇄 장애(Cascade Failure)가 가장 큰 위험 요소였습니다.

초기 문제점들

• JWT 검증 실패 시 5초 대기 → 사용자 경험 악화
• 이미지 생성 서비스 장애 시 전체 시스템 다운
• 헬스체크가 병목이 되어 모니터링 자체가 시스템 부하 증가
• 구글 로그인에서 “Cannot serialize non-str key None” 오류 발생

🛡️ Circuit Breaker: 전기 차단기에서 배운 지혜

핵심 아이디어

실제 전기 차단기가 과부하 시 전기를 차단해서 화재를 방지하듯이, 소프트웨어에서도 서비스 장애 시 요청을 차단해서 연쇄 장애를 방지합니다.

3가지 상태로 동작

🟢 CLOSED (정상) → 모든 요청 허용 🔴 OPEN (차단) → 모든 요청 즉시 거부 🟡 HALF_OPEN (테스트) → 일부 요청으로 복구 확인

실제 구현 예시

JWT 검증을 Circuit Breaker로 보호

user_info = await with_circuit_breaker( name=“jwt_verification”, func=jwt_verification, config=CircuitConfig( failure_threshold=5, # 5번 실패시 차단 timeout_duration=30.0, # 30초 후 재시도 call_timeout=2.0 # 2초 타임아웃 ) )

놀라운 효과

• Before: JWT 검증 실패 시 5초 대기
• After: 장애 감지 시 즉시 503 응답 (5ms)
• 결과: 사용자는 빠른 에러 메시지를 받고, 서버는 리소스 보호

🏥 헬스체크의 함정: 의사가 환자를 더 아프게 만들 수 있다

기존 헬스체크의 문제

❌ 위험한 헬스체크

@router.get(“/health”) async def bad_health_check():

Prometheus가 15초마다 이걸 호출하면…

db_status = await db.execute(“SELECT 1”) # DB 부하! paddle_status = await paddle_api.get_products() # 외부 API 부하! redis_status = await redis.ping() # Redis 부하!

return {“status”: “ok” if all([db_status, paddle_status, redis_status]) else “fail”}

문제점: 헬스체크 자체가 시스템에 부하를 주어 “건강을 확인하려다가 병을 만드는” 상황 발생

캐시 기반 해결책

✅ 안전한 캐시 기반 헬스체크

class HealthChecker: def init(self): self.health_cache = {} self.last_check_time = {} self.check_interval = 30 # 30초마다만 실제 체크

async def get_component_health(self, component: str, check_func): now = time.time()

캐시가 유효하면 즉시 반환

if (now - self.last_check_time.get(component, 0)) self.check_interval: return self.health_cache.get(component)

실제 체크는 30초마다만

try: result = await asyncio.wait_for(check_func(), timeout=2.0) self.health_cache[component] = {“status”: “healthy”, “last_check”: now} except Exception as e: self.health_cache[component] = {“status”: “unhealthy”, “error”: str(e)}

self.last_check_time[component] = now return self.health_cache[component]

성능 개선 결과

• 응답시간: 2000ms → 200ms (10배 향상)
• 시스템 부하: 95% 감소
• 모니터링 안전성: Prometheus가 아무리 자주 호출해도 안전

🔄 Circuit Breaker + 캐시 헬스체크의 시너지

완벽한 조합인 이유

1. Circuit Breaker: 장애 발생 시 빠른 차단
2. 캐시 헬스체크: 장애 감지를 위한 모니터링이 시스템에 부하 없음
3. 상호 보완: 서로의 약점을 보완하는 완벽한 파트너십

실제 장애 시나리오

09:00 - 모든 서비스 정상 🟢 ├── Circuit Breaker: CLOSED ├── 헬스체크: 캐시된 결과로 빠른 응답 └── 사용자: 정상 서비스 이용

09:05 - Auth Service 장애 발생 💥 ├── Circuit Breaker: 3번 실패 후 OPEN 전환 ├── 헬스체크: 캐시로 장애 상태 빠르게 전파 └── 사용자: 즉시 “서비스 불가” 메시지 (대기 시간 없음)

09:35 - 30초 후 자동 복구 시도 🔄 ├── Circuit Breaker: HALF_OPEN으로 전환 ├── 헬스체크: 실제 체크로 복구 확인 └── 복구 성공 시 CLOSED로 전환

09:36 - 정상 서비스 재개 ✅

📊 실측 성능 데이터

Circuit Breaker 효과

Before Circuit Breaker

$ time curl http://localhost:8001/api/auth/me

5.234s (JWT 검증 실패 시)

After Circuit Breaker

$ time curl http://localhost:8001/api/auth/me

0.005s (즉시 503 응답)

캐시 헬스체크 효과

1차 호출 (실제 체크)

$ time curl http://localhost:8001/api/gateway/health/full

2.5s - 모든 서비스 실제 호출

2차 호출 (캐시 사용)

$ time curl http://localhost:8001/api/gateway/health/full

0.2s - 캐시된 결과 반환

Circuit Breaker 통계

{ “jwt_verification”: { “state”: “closed”, “total_calls”: 1000, “total_failures”: 12, “failure_rate”: 0.012, “current_failure_count”: 0 } }

🎯 Bible Card SaaS에서의 실제 적용

보호 대상

1. JWT 검증: 인증 서비스 장애 시에도 빠른 응답
2. 서비스 간 호출: Gateway → Auth, Payment, BibleCards 등
3. 외부 API: Paddle 결제, OpenAI 이미지 생성
4. 헬스체크: 모니터링이 시스템 부하 없이 동작

실제 코드 위치

backend_gateway/ ├── services/circuit_breaker.py # Circuit Breaker 구현 ├── services/unified_proxy.py # JWT 검증 보호 ├── services/proxy.py # 서비스 호출 보호 ├── services/health_check.py # 캐시 기반 헬스체크 └── api/gateway.py # 통계 API 제공

🏆 결론: 마이크로서비스 안정성의 새로운 표준

이 조합이 특별한 이유

1. 사용자 경험: 장애 시에도 빠른 피드백
2. 시스템 안정성: 연쇄 장애 완전 차단
3. 운영 효율성: 자동 복구로 수동 개입 최소화
4. 모니터링 안전성: 건강 확인이 건강을 해치지 않음

확장 가능성

• Retry Pattern: Circuit Breaker와 조합으로 더 강력한 복원력
• Bulkhead Pattern: 리소스 격리로 장애 영향 범위 최소화
• Cache-Aside Pattern: 데이터 접근 성능 극대화

최종 메시지

“Circuit Breaker + 캐시 헬스체크는 단순한 패턴 조합이 아니라, 마이크로서비스 시대의 생존 전략입니다.”

현대의 분산 시스템에서 장애는 언제든 발생할 수 있습니다. 중요한 것은 장애를 예방하는 것이 아니라, 장애가 발생했을 때 시스템이 어떻게 반응하느냐입니다.

Circuit Breaker는 빠른 실패를, 캐시 기반 헬스체크는 안전한 모니터링을 제공합니다. 이 둘의 조합은 마이크로서비스가 서로를 보호하면서도 전체 시스템의 가용성을 최대화하는 완벽한 솔루션입니다.

---

“좋은 아키텍처는 장애를 숨기는 것이 아니라, 장애와 함께 춤추는 것이다.” 🕺💃

---

ㅎㅎㅎㅎㅎ 춤춰라 나의 에이전트야~