运行入口¶
OmniRT 提供 batch 生成入口和实时数字人入口。batch 入口共享同一份 GenerateRequest 契约,实时入口面向 OpenTalking 与新客户端的 audio chunk -> video frames 流式链路。
| 入口 | 适合 | 页面 |
|---|---|---|
| Python API | 嵌入已有 Python 应用、notebook 实验 | Python API |
| CLI | 脚本化批处理、一次性校验 / 生成 | CLI |
| HTTP 服务 | 微服务、多租户、OpenAI 兼容 API、Prometheus / OTLP 接入 | HTTP 服务 |
| FlashTalk WS | OpenTalking 现有客户端兼容,AUDI / VIDX 二进制帧 |
FlashTalk WebSocket |
| Wav2Lip WebSocket | 同上协议,轻量唇形驱动(无 SoulX 大模型);昇腾 / GPU 见文档 | Wav2Lip WS |
| MuseTalk WebSocket | 同上协议,MuseTalk v1.5;昇腾部署见文档 | MuseTalk WS |
| Realtime Avatar WS | 新集成推荐的 OmniRT 原生实时数字人协议 | Realtime Avatar WebSocket |
| Worker 服务 | gRPC 远程执行节点,供 serve --remote-worker 调度 |
分布式服务 |
建议顺序
离线生成先在 Python 或 CLI 下跑通 validate + generate 确认契约,再上 HTTP 服务做并发 / batching / 服务协议调优;已有实时数字人前端时,可以用 FlashTalk WebSocket 兼容入口先接通链路。
实时数字人服务支持三种 runtime 模式:
fake:默认模式,输出确定性的 JPEG chunk,用于协议测试和 CPU-stub demo。proxy:通过OMNIRT_AVATAR_FLASHTALK_WS_URL转发到已有 FlashTalk-compatible WebSocket 服务。resident:通过OMNIRT_REALTIME_AVATAR_RUNTIME=resident使用 OmniRT residentsoulx-flashtalk-14b路径渲染 chunk。