Vision 모듈
임시방편의 추론 서버를 TensorRT 최적화 엔진으로 대체. 기존 파이프라인에 그대로 끼워 넣을 수 있습니다.
입출력: 프레임 입력 → 검출 / 분할 / 추적 출력
- 기술
- TensorRT · CUDA · ONNX · PyTorch
- 성능
- 1080p 실시간 · FP16 / INT8
- 검증
- 의료 영상, 영상 포렌식
실시간 AI 추론,
모듈로 설계하다.
도메인을 가로지르는 프로덕션급 GPU 추론 엔진. 의료 영상부터 방송, 영상 포렌식까지.
- ▸ 1080p 영상 스트림 실시간 처리
- ▸ Jetson Orin부터 RTX 5090까지 동일 코드베이스
- ▸ 의료·포렌식·방송 도메인 검증 완료
대상
실시간 AI가 실제로 결과를 좌우하는 팀을 위해.
추론 경로가 병원, 방송 컨트롤 룸, 포렌식 랩을 지나간다면 "거의 실시간"의 비용은 너무 큽니다.
FrogRT는 그런 팀을 위해 설계되었습니다.
의료 AI 스타트업
임상의가 인지 가능한 지연을 허용하지 않으며 규제 일정(FDA / CE / KFDA)을 동시에 맞춰야 하는 진단 도구를 만드는 팀.
방송·미디어 엔지니어링 팀
AI 오버레이, 자동화, 분석을 단 한 프레임도 놓치지 않고 처리해야 하는 SDI/IP 파이프라인 운영 팀.
포렌식·보안 운영자
온프레미스 또는 폐쇄망에서 대용량 영상 증거를 처리하며 chain-of-custody와 재현성 제약을 만족해야 하는 조직.
대상이 아닌 경우: 배치 전용 워크로드, 프로덕션 목표가 없는 프로토타입 ML 팀, "다음 분기"를 기다릴 수 있는 팀.
제품
FrogRT — 모듈러 실시간 추론 엔진
대부분의 팀은 새 도메인마다 추론 스택을 새로 만듭니다. 우리는 그렇게 하지 않았습니다.
FrogRT는 조립 가능한 엔진입니다. 필요한 모듈을 선택해, 엣지부터 멀티 GPU 서버까지 동일한 코드베이스로 배포하세요.
Stream ─► Vision ─► Orchestration ─► 엣지 | 클라우드
Stream 모듈
글루 코드 수준의 FFmpeg 셋업을 SDI · RTSP · 파일 · 라이브 방송을 통합 처리하는 입력 레이어로 대체.
입출력: SDI / RTSP / 파일 입력 → 디코딩 프레임 출력
- 기술
- FFmpeg · Magewell · NVDEC
- 성능
- 다중 소스 동기 캡처
- 검증
- 방송, 보안 감시, 콘텐츠 자동화
Orchestration 모듈
직접 만든 GPU 스케줄러를 적응형 배칭과 큐 제어로 대체. 이기종 GPU 풀에서도 동일하게 동작.
입출력: 추론 요청 입력 → 배치·스케줄 작업 출력
- 기술
- Rust · CUDA Streams · NVML
- 성능
- 이기종 GPU 풀 운영
- 검증
- 멀티 GPU 추론 서버
Edge 모듈
클라우드와 엣지가 갈라진 두 코드베이스를 단일 아티팩트로 통합. RTX 5090에서 Jetson Orin까지 재타겟.
입출력: 학습 모델 입력 → 엣지 최적화 런타임 출력
- 기술
- Jetson Orin · TensorRT · DeepStream
- 성능
- 엣지부터 클라우드까지 동일 코드베이스
- 검증
- 현장 배포된 실시간 분석
왜 모듈러
프로덕션에서 검증되었고, 설계상 조립 가능합니다.
도메인별 추론 시스템은 만드는 것도 비싸고, 유지하는 것은 더 비쌉니다.
의료 영상, 영상 포렌식, 방송에서 실시간 추론 시스템을 만들면서 이를 직접 겪었습니다. 패턴은 반복되었지만, 코드까지 반복할 필요는 없었습니다.
FrogRT는 그 결과물입니다. 모든 모듈이 가장 까다로운 도메인의 프로덕션에서 검증된 후에 조립 가능한 형태가 되었습니다.
TTM 단축
검증된 컴포넌트로 매번 새로 만들 필요 없음.
리스크 감소
가장 까다로운 도메인의 프로덕션에서 검증.
확장
엣지부터 클라우드까지, 동일 코드·동일 팀.
프로덕션 검증
FrogRT 모듈은 이론이 아닙니다.
실패가 허용되지 않는 도메인의 프로덕션에서 검증되었습니다.
외부 프로덕션 검증
고객사명은 비공개. 도메인과 모듈 구성은 공개합니다.
| 의료 AI | 위장관 내시경 영상 실시간 분석 | Vision · Stream · Orchestration |
| 영상 포렌식 | GPU 가속 포렌식 영상 처리 | Vision · Stream |
| 방송 | 실시간 SDI 캡처 및 분석 파이프라인 | Stream · Orchestration |
FrogRT로 만든 자사 제품
자체 제품도 동일한 엔진으로 동작합니다.
VlogJet
콘텐츠 자동화 파이프라인
Vision · Stream
Croky
크리에이터 분석 플랫폼
Vision · Orchestration
자체 제품에도 동일 엔진을 씁니다. 우리가 제공할 수 있는 가장 정직한 검증입니다.
기술 & 성능
실제로 운영하는 GPU에 맞게 설계
FrogRT는 엣지의 Jetson Orin부터 멀티 GPU RTX 5090 서버까지 폭넓은 하드웨어를 지원합니다.
오케스트레이션은 Rust로 갔습니다. 세 가지 대안을 벤치마크한 결과, 부하 상황에서도 메모리가 예측 가능했고 GC 정지가 없었습니다. 지연 시간이 결정적인 경로에서 TensorRT는 협상 대상이 아닙니다. 디코딩은 FFmpeg + NVDEC 그대로 — 프로덕션에서 가장 검증된 스택이기 때문입니다. 핵심은 스택 자체가 아니라, 모든 선택에 측정 가능한 이유가 있다는 점입니다.
GPU 매트릭스
- Jetson Orin
- RTX 4090
- RTX 5090
- Multi-GPU server
추론 스택
- CUDA · TensorRT
- cuDNN · ONNX
- DeepStream
- PyTorch
시스템
- Rust
- C++
- FFmpeg
- Container Registry
FAQ
자주 묻는 질문
기존 TensorRT 엔진을 FrogRT와 통합할 수 있습니까? +
가능합니다. Vision 모듈은 사전에 빌드된 TensorRT 엔진을 ONNX / PyTorch 모델과 동일한 1급 입력으로 받습니다. 강제 재내보내기 없습니다.
클라우드 GPU(GCP, AWS, Azure)와 온프레미스 모두 지원합니까? +
둘 다. 동일한 FrogRT 아티팩트가 GCP A2/A3, AWS G6, 온프레미스 멀티 GPU 서버, 그리고 엣지의 Jetson Orin에서 동작합니다. 타깃별로 최적화하지만 API는 동일합니다.
가격 모델은 어떻게 됩니까 — 라이선스, SaaS, 커스텀? +
도메인별로 범위를 한정한 유료 파일럿(보통 4–8주)으로 시작합니다. 프로덕션 가격은 배포 규모와 모듈 구성을 기반으로 책정합니다. 셀프서비스 SaaS는 의도적으로 운영하지 않습니다.
파일럿 일정은 보통 어떻게 흘러갑니까? +
1–2주차: 데이터·파이프라인 평가. 3–5주차: 입력과 SLA에 맞춘 모듈 튜닝. 6–8주차: 스택 통합과 인계. 우리 팀은 고객 팀과 함께 일하지, 옆에서 일하지 않습니다.
폐쇄망(air-gapped) 환경에서 운영할 수 있습니까? +
가능합니다. FrogRT는 외부 통신이나 클라우드 텔레메트리가 필요하지 않습니다. 서명된 바이너리/컨테이너로 인도하고, 배포 표면은 전적으로 고객이 통제합니다.
우리 IP와 학습 모델은 어떻게 다룹니까? +
고객의 모델, 데이터, IP는 전적으로 고객의 것입니다. NDA가 기본입니다. 고객 데이터로 학습하지 않으며, 고객 전용 튜닝을 다른 프로젝트에 재사용하지 않습니다.
Triton / DeepStream / TorchServe를 쓰면 되지 않나요? +
각자의 영역에서 훌륭한 도구이며, 의미 있는 지점에서는 FrogRT가 그들과 통합됩니다. 우리는 범용 서버가 도메인 특수성 때문에 30–50%의 지연시간 또는 개발 시간 예산을 흘려보내는 케이스를 위해 존재합니다 — SDI 캡처, 규제가 있는 의료 파이프라인, 다중 테넌트 이기종 GPU 풀 같은 영역.
팀
필요한 곳에서, 엔지니어링 깊이로.
김종혁 (Kim JongHyuk) Founder
20년 이상의 풀스택 엔지니어링 경력. 의료, 포렌식, 방송 도메인에서 GPU 컴퓨팅, AI 추론, 실시간 미디어 시스템을 다뤄온 깊은 경험.
문의
함께 이야기하기
지연시간, 신뢰성, 도메인 깊이가 중요한 실시간 AI 제품을 만드는 팀과 함께합니다.