开源
Saypane 建立在开源软件和开放许可的语音模型之上。Saypane 应用本身是闭源的。下面列出它用到了什么,以及各自的许可证。
语音模型
| 项目 | 许可证 | 用途 |
|---|---|---|
| NVIDIA Parakeet TDT 0.6B v3 | CC-BY-4.0 | 25 种欧洲语言的语音识别。 |
| OpenAI Whisper | MIT | 其他语言的语音识别(small 和 large v3 turbo)。 |
| Silero VAD | MIT | 语音活动检测:找出录音中的语音和停顿。 |
| pyannote segmentation 3.0 | MIT | 说话人分段,用于说话人标注。 |
软件
| 项目 | 许可证 | 用途 |
|---|---|---|
| whisper.cpp | MIT | 在 CPU 上以及通过 Vulkan 在 GPU 上运行 Whisper 和 Parakeet 模型。 |
| ggml | MIT | whisper.cpp 底层的张量库。 |
| sherpa-onnx | Apache-2.0 | 运行说话人标注模型。 |
| NAudio | MIT | 采集麦克风和电脑声音。 |
| CommunityToolkit | MIT | 应用用户界面的构建组件。 |
| Windows App SDK | MIT | Windows 应用框架(WinUI)。 |
署名:NVIDIA Parakeet TDT 0.6B v3
Saypane 使用 NVIDIA 的 NVIDIA Parakeet TDT 0.6B v3,该模型采用知识共享署名 4.0 国际许可协议(CC-BY-4.0)。模型卡:huggingface.co/nvidia/parakeet-tdt-0.6b-v3。Saypane 附带的是该模型量化为 8 位(q8_0)的 GGML 转换版本,发布于 huggingface.co/ggml-org/parakeet-GGUF;模型只经过转换和量化,没有重新训练,也没有做其他修改。
Whisper 模型文件是发布于 huggingface.co/ggerganov/whisper.cpp 的 GGML 转换版本。与 pyannote segmentation 配合使用的说话人嵌入模型确定后,会连同其许可证一起列在这里。
音频和视频文件使用 Windows 自带的 Windows Media Foundation 解码。Saypane 不包含 FFmpeg。
感谢这些项目的作者和贡献者。完整的许可证文本随应用一起提供,见其第三方声明。