pyVideoTrans视频翻译开源软件

官网：

简介：

一个工具实现语音识别+字幕翻译+配音 -> 新语言视频
这是一个开源的视频翻译配音工具(开源协议GPL-v3)，可将一种语言发音的视频，翻译为另一种语言发音的视频，并嵌入该语言字幕。比如有一个英文电影，发音是英文，没有英文字幕，也没有中文字幕，使用这个工具处理后，可以转成带中文字幕，并且带有中文配音的电影。

开源地址 https://github.com/jianchang512/pyvideotrans

除了这个核心功能，还附带其他一些工具：

语音识别文字：可将视频或者音频中的声音识别为文字，并导出为字幕文件。
音频视频分离：可将视频分离为一个无声视频文件和一个音频文件
文字字幕翻译：可将文字或srt字幕文件，翻译为其他语言的文字或字幕
视频字幕合并：可将字幕文件嵌入到视频中
音视字幕合并：可将视频文件、音频文件、字幕文件三者合成为一个文件
文字合成语音：可将任意文字或srt文件，合成为一个音频文件。
人声背景分离：可将视频里的人类声音和其他声音分开为2个音频文件
下载油管视频：可在线下载Youtube视频

这个工具是什么原理呢：
将原始视频先使用 ffmpeg 分离出音频文件和无声mp4，然后利用 openai-whisper/faster-whisper模型识别出音频中的人声，并保存为srt字幕，接着将srt字幕翻译为目标语言并保存为srt字幕文件，再将翻译结果合成为配音音频文件。
接着将配音音频文件、字幕srt文件、原无声mp4合并为一个视频文件，即完成翻译。