MuseTalk

MuseTalk 支持 local、omnirt 和高级 direct_ws 接入。当前文档把最常用的 local 与 omnirt 拆开：local 由 OpenTalking 主进程加载 adapter 并在会话初始化前执行官方预处理；OmniRT 由独立服务托管 MuseTalk runtime。

项	值
模型 ID	musetalk
Backend	local、omnirt、direct_ws
仓库默认值	omnirt
推荐起步	已能安装 OpenMMLab 依赖时可用 local；需要服务隔离时用 omnirt

选择哪种模式

模式	适合场景	入口
local	单机验证 MuseTalk 质量，接受 OpenTalking .venv 和官方预处理依赖较重。	MuseTalk Local
omnirt	将 MuseTalk WS backend 和 OmniRT gateway 独立出来，OpenTalking 只连接 OmniRT。	MuseTalk with OmniRT
direct_ws	已经有 MuseTalk 兼容 WebSocket 服务，只想让 OpenTalking 连接它。	参考 Backend 模式 和配置项。

权重目录

models/
  musetalk/
    musetalk.json
    pytorch_model.bin
  sd-vae-ft-mse/
  whisper/
    tiny.pt
  dwpose/
    dw-ll_ucoco_384.pth
  face-parse-bisenet/
    79999_iter.pth

local 模式还需要 MuseTalk 官方源码和预处理 Python；OmniRT 模式会通过 OmniRT runtime 管理 MuseTalk 源码环境。

相关教程

• MuseTalk Local
• MuseTalk with OmniRT
• 支持矩阵

前端入口

模型或后端服务启动后，统一用 OpenTalking WebUI 访问：

终端

cd "$OPENTALKING_HOME"
bash scripts/quickstart/start_frontend.sh --api-port 8000 --web-port 5173 --host 0.0.0.0

远程服务器部署时，把本地浏览器端口映射到服务器 5173，再打开 http://127.0.0.1:5173。