AI 추론 서빙

학습된 모델을 실서비스로 — 지연시간과 동시처리량 최적화

추론은 학습과 요구사항이 다릅니다. 최대 처리량보다 꼬리 지연시간(p99)이 사용자 경험을 결정하고, GPU 메모리 용량이 배치 크기와 동시 요청 수를 제한합니다.

모델 크기가 단일 GPU 메모리에 들어가면 파이프라인이 훨씬 단순해집니다. H200의 141GB처럼 메모리가 큰 GPU가 추론에서 유리한 이유입니다.

도입 전 확인할 것

이 워크로드에서 실제로 성능을 좌우하는 지점들입니다.

01

모델이 단일 GPU에 올라가면 모델 병렬화가 불필요해져 지연시간과 운영 복잡도가 함께 줄어듭니다.

02

평균이 아니라 p99가 서비스 품질을 결정합니다. 배치 전략과 스케줄링 설계가 핵심입니다.

03

MIG로 GPU를 분할하면 여러 모델·팀이 한 장을 나눠 쓸 수 있어 활용률이 올라갑니다.