02시스템 · RADIA · INFER
의료영상 판독 추론 서빙
PyTorch 모델을 gRPC로 서빙하고 병원 PACS와 안전하게 연결했습니다. 추론 큐와 GPU 자원 분배까지 한 시스템에 묶었습니다.
- Role
- 백엔드 · ML 엔지니어
- Year
- 2024
- Type
- 시스템
FastAPIgRPCPACSGPU 큐
01
운영 콘솔
RPS · p95 지연 · GPU 사용률 · 활성 추론 큐. 아키텍처 다이어그램까지 한 화면에.
Inference Console — Overview
02
모델 레지스트리
배포된 모델 버전과 트래픽 분배, 카나리 롤아웃. 모델 카드와 메트릭 비교.
Inference Console — Model Registry
03
추론 로그 탐색
필터 가능한 추론 기록. 환자 ID·모델·결과별로 검색하고 상세 페이로드 확인.
Inference Console — Logs
04
알람 · 헬스체크
지연·실패율·GPU 메모리 임계치 알람. 에스컬레이션 정책과 침묵 규칙.
Inference Console — Alerts