AI 모델 실행
DeepInfer
DeepSeek가 공개한 대규모 추론 프레임워크입니다. 현재 공개판은 지원 모델의 오프라인 추론과 핵심 실행 기능을 제공합니다.
연구·인프라 팀이 지원 가속기에서 모델 실행 환경을 구축할 때 참고할 수 있습니다.
- 사용 기기
- Linux · Python 3.12 · GCC 13+ · SM100 GPU 또는 Ascend 950 NPU
- 시작 난이도
- 매우 어려움 · 전문 가속기·소스 빌드
- 무료 범위
- Apache-2.0 코드. 지원 가속기·모델 저장 공간과 서버 운영 비용이 필요합니다. 일반 PC에서 무료 AI를 바로 쓰는 앱은 아닙니다.
처음 시작하는 순서
- 지원 모델과 하드웨어가 연구 환경에 맞는지 확인합니다.
- 플랫폼별 빌드 의존성과 모델 배포 조건을 검토합니다.
- 오프라인 예제의 결과와 자원 사용량을 별도로 검증합니다.
NVIDIA는 CUDA 13, Ascend는 CANN 9.2가 필요합니다. 완성형 서비스에 필요한 KV 캐시·부하 분산 등의 일부 구성은 공개판에 포함되지 않습니다.
공식 사이트 · 설치 안내공식 설명 확인 · 2026-10-25 / 직접 사용 검증 전