• 零样本：提供一段参考音频即可克隆音色，无需额外训练
• 多语种：支持中文、英文、日语、西班牙语、法语、阿拉伯语等语种
• 音色控制：可调整语速，并按性别、年龄、音调等属性设计音色
• OpenAI 兼容：通过 /v1/audio/speech 接口调用

使用 SDK 生成音频​

matrix-tts-v1 没有预置音色，可以省略 voice 参数。默认输出为 WAV。

from openai import OpenAI

client = OpenAI(base_url="https://mzsjai.com/v1", api_key="<你的 Key>")
speech = client.audio.speech.create(
    model="matrix-tts-v1",
    input="你好世界，这是 Matrix TTS 生成的语音。",
)
speech.stream_to_file("hello.wav")

使用自己的声音​

把参考音频转成 Base64，放进 JSON 请求体的 ref_audio 字段：

REF_B64=$(base64 -i my-voice-sample.wav | tr -d '\n')

curl https://mzsjai.com/v1/audio/speech \
  -H "Authorization: Bearer <你的 Key>" \
  -H "Content-Type: application/json" \
  -d "{
    \"model\": \"matrix-tts-v1\",
    \"input\": \"用我的声音念这句话\",
    \"ref_audio\": \"${REF_B64}\"
  }" \
  --output cloned.wav

参考音频通过 JSON 字段传入，不使用 multipart 文件上传。建议用 5～15 秒、单人、无背景噪音的录音。

常见用法​

• 播客和短视频配音
• 多语种内容本地化
• 角色或游戏 NPC 配音
• 为文章生成音频版本

计费​

语音合成按 Token 计费，输入文本与输出音频分别计量，其中音频时长按每分钟约 1000 Token 折算。 实际价格以模型价格和账单记录为准。

完整文档​

本文只覆盖最常用的流程。完整的参数说明、音色设计词典、输出格式差异和错误码，请查阅 语音合成文档。

看到一个有趣的开源 AI 项目后，真正体验它通常要经历：克隆仓库、阅读 README、安装 Python 或 Node 环境、配置 CUDA 或 Docker、准备 API Key，最后才能把服务跑起来。

但多数时候，用户只想直接试试它是否适合自己。

Matrix 解决什么​

Matrix 把这条流程压缩成几步：

1. 在 应用商店 选择感兴趣的开源项目。
2. 点击启动，创建专属实例。
3. 等待实例就绪，直接在浏览器中使用。
4. 使用结束后关停实例。

容器内部的 AI 调用会自动路由到 Matrix 的计费网关，不需要用户单独准备上游 API Key，并按实际消耗扣除余额。

同时也是一个 API 网关​

我们后来发现，“想运行别人的开源应用”和“想要一把统一的 AI API Key”通常属于同一类需求。因此 Matrix 也提供统一 API 平台：

• 一把 Key 调用多家厂商的模型
• 在统一控制台查看用量
• 为不同业务创建独立 Key，分别核算成本

下一步​

• 浏览 Matrix 应用商店
• 阅读 OpenAI 兼容接入文档
• 查看余额与计费说明

我们会继续在这里更新 Matrix 的应用接入、模型上线和工程实践。

让任意 OpenAI 兼容的客户端只需要配置一次 Base URL 和 Key，就能跨厂商调用模型。适用的客户端包括 Cursor、Cherry Studio、自建应用和各类 OpenAI SDK。

可用模型会持续更新，请以 Matrix 模型列表 为准。

工作机制​

1. 发请求：客户端把请求发到 Matrix 网关。
2. 路由：网关识别 model 字段，路由到对应厂商的真实接口。
3. 计费：平台实时统计用量，并按当前模型价格和账户倍率计费。
4. 返回：上游响应通过统一协议返回客户端。

价格公式​

实际扣费 = 厂商单价 × 用量 × 账户倍率

模型价格请查看 模型目录与定价。

常见问题​

支持流式接口吗？​

支持。按 OpenAI 协议设置 stream: true 即可。

支持工具调用吗？​

支持，但最终能力取决于所选模型及其上游厂商。

支持多模态输入吗？​

视模型而定。每个模型支持的能力和调用文档可在 Matrix 模型列表 中查看。

如果让所有用户共用同一个开源应用实例，会遇到：

• 数据互相可见或写覆盖
• 一个用户的崩溃影响所有人
• 计费无法按用户拆分

所以 Matrix 选择 每个用户、每个应用一份实例，并通过容器调度优化控制成本。

调度服务做了什么​

• 接收前端的 startInstance 指令
• 在 K8s 集群里启动一个属于该用户的命名空间和 Pod
• 启动时注入平台 API Key，以及必要的环境变量与挂载

平台 API Key 让容器内部的 AI 调用可以计入对应用户的额度。

资源回收​

• 用户主动关停时立即清理
• 长时间无访问时，根据应用类型自动休眠或回收

安全​

• 不同用户的 Pod 网络隔离
• 容器内不能访问宿主机敏感数据
• 注入的 API Key 是临时凭据，可单独吊销