部署指南¶
OmniRT 的部署路径按硬件后端和网络环境两个维度拆分：
| 场景 | 推荐入口 |
|---|---|
| NVIDIA GPU 生产部署 | CUDA 部署 |
| 昇腾 Atlas / 910 / 910B | Ascend 后端 |
| 国内网络 / 内网 / 离线 | 国内部署 |
| 容器化（Docker / k8s） | Docker 与容器 |
| 网关 + worker + Redis / OTLP | 分布式服务 |
先跑通 CPU stub
正式部署前，建议先用 --backend cpu-stub 走一次 omnirt validate 与 omnirt generate --dry-run，确认请求契约与模型 registry 无问题，再切到真实硬件。详见 快速开始。
如果你的部署目标包含异步 job、跨进程共享作业状态、Prometheus 指标采集或远程 worker，请直接继续阅读 分布式服务。