Saypane
语言: 简体中文

开源

Saypane 建立在开源软件和开放许可的语音模型之上。Saypane 应用本身是闭源的。下面列出它用到了什么,以及各自的许可证。

语音模型

项目许可证用途
NVIDIA Parakeet TDT 0.6B v3 CC-BY-4.0 25 种欧洲语言的语音识别。
OpenAI Whisper MIT 其他语言的语音识别(small 和 large v3 turbo)。
Silero VAD MIT 语音活动检测:找出录音中的语音和停顿。
pyannote segmentation 3.0 MIT 说话人分段,用于说话人标注。

软件

项目许可证用途
whisper.cpp MIT 在 CPU 上以及通过 Vulkan 在 GPU 上运行 Whisper 和 Parakeet 模型。
ggml MIT whisper.cpp 底层的张量库。
sherpa-onnx Apache-2.0 运行说话人标注模型。
NAudio MIT 采集麦克风和电脑声音。
CommunityToolkit MIT 应用用户界面的构建组件。
Windows App SDK MIT Windows 应用框架(WinUI)。

署名:NVIDIA Parakeet TDT 0.6B v3

Saypane 使用 NVIDIA 的 NVIDIA Parakeet TDT 0.6B v3,该模型采用知识共享署名 4.0 国际许可协议(CC-BY-4.0)。模型卡:huggingface.co/nvidia/parakeet-tdt-0.6b-v3。Saypane 附带的是该模型量化为 8 位(q8_0)的 GGML 转换版本,发布于 huggingface.co/ggml-org/parakeet-GGUF;模型只经过转换和量化,没有重新训练,也没有做其他修改。

Whisper 模型文件是发布于 huggingface.co/ggerganov/whisper.cpp 的 GGML 转换版本。与 pyannote segmentation 配合使用的说话人嵌入模型确定后,会连同其许可证一起列在这里。

音频和视频文件使用 Windows 自带的 Windows Media Foundation 解码。Saypane 不包含 FFmpeg。

感谢这些项目的作者和贡献者。完整的许可证文本随应用一起提供,见其第三方声明。