跳转至

运行入口

OmniRT 提供 batch 生成入口和实时数字人入口。batch 入口共享同一份 GenerateRequest 契约,实时入口面向 OpenTalking 与新客户端的 audio chunk -> video frames 流式链路。

入口 适合 页面
Python API 嵌入已有 Python 应用、notebook 实验 Python API
CLI 脚本化批处理、一次性校验 / 生成 CLI
HTTP 服务 微服务、多租户、OpenAI 兼容 API、Prometheus / OTLP 接入 HTTP 服务
FlashTalk WS OpenTalking 现有客户端兼容,AUDI / VIDX 二进制帧 FlashTalk WebSocket
Wav2Lip WebSocket 同上协议,轻量唇形驱动(无 SoulX 大模型);昇腾 / GPU 见文档 Wav2Lip WS
MuseTalk WebSocket 同上协议,MuseTalk v1.5;昇腾部署见文档 MuseTalk WS
Realtime Avatar WS 新集成推荐的 OmniRT 原生实时数字人协议 Realtime Avatar WebSocket
Worker 服务 gRPC 远程执行节点,供 serve --remote-worker 调度 分布式服务

建议顺序

离线生成先在 Python 或 CLI 下跑通 validate + generate 确认契约,再上 HTTP 服务做并发 / batching / 服务协议调优;已有实时数字人前端时,可以用 FlashTalk WebSocket 兼容入口先接通链路。

实时数字人服务支持三种 runtime 模式:

  • fake:默认模式,输出确定性的 JPEG chunk,用于协议测试和 CPU-stub demo。
  • proxy:通过 OMNIRT_AVATAR_FLASHTALK_WS_URL 转发到已有 FlashTalk-compatible WebSocket 服务。
  • resident:通过 OMNIRT_REALTIME_AVATAR_RUNTIME=resident 使用 OmniRT resident soulx-flashtalk-14b 路径渲染 chunk。