人声分离效果较差
lucasjinreal opened this issue · comments
一段电视剧声音,含背景音,几乎区分不出4个说话人,全部是speaker 0
电视剧、综艺上效果有限,尤其带有背景音干扰的。可以的话提供下具体音频
补充一下:可以变换run.sh中的speaker_model_id=damo/speech_campplus_sv_zh-cn_16k-common来选择使用eres2net or cam++;也可以使用modelscope开源模型识别:https://modelscope.cn/models/damo/speech_campplus_speaker-diarization_common/summary 可能会取得更好的效果,have a try~
感觉没有funcasr的分离效果好,即便funasr也比较差
不会啊?funasr就是调用我们的模型,你可以再次尝试一下不同的speaker_model,通过修改代码中的speaker_model_id。进一步, https://modelscope.cn/models/damo/speech_campplus_speaker-diarization_common/summary 该模型有后处理,你试下。如果方便可以提供具体音频吗?
@yfchenlucky 我目前用的是这个pipeline,效果一般,大佬有何建议吗
pipeline_ms = pipeline(
task=Tasks.auto_speech_recognition,
model="damo/speech_paraformer-large-vad-punc-spk_asr_nat-zh-cn",
model_revision="v0.0.2",
vad_model="damo/speech_fsmn_vad_zh-cn-16k-common-pytorch",
punc_model="damo/punc_ct-transformer_cn-en-common-vocab471067-large",
output_dir="results",
)
paramformer 和 campplus 效果差别大吗?哪个更好
当前funasr中speaker diarization部分使用的是campplus模型,paraformer是用来做语音识别的,campplus是说话人分离。
- 你可以在本仓库中使用campplus和eres2net来提取speaker embedding做分离任务,具体修改 https://github.com/alibaba-damo-academy/3D-Speaker/blob/main/egs/3dspeaker/speaker-diarization/run.sh 第38行 speaker_model_id。
- 如果上述方法识别效果不好,可以尝试加入说话人转换点定位模型,可以使用modelscope中:https://modelscope.cn/models/damo/speech_campplus_speaker-diarization_common/summary 和 https://modelscope.cn/models/damo/speech_eres2net-large_speaker-diarization_common/summary 模型,按照readme中的快速体验模型效果就可以进行说话人分离。
- 如果上述两种方法都不能达到您的要求,您可以提供音频给我们,帮助你分析一下,针对背景音干扰音频,分离性能确实有限。
@yfchenlucky 我用了这个pipeline,看起来der比上面那个稍微好一点:
sd_pipeline = pipeline(
task='speaker-diarization',
model='damo/speech_campplus_speaker-diarization_common',
model_revision='v1.0.0'
)
这是为啥?如果都是i一个模型的话?
ModelScope上发布的这个模型'damo/speech_campplus_speaker-diarization_common'包含说话人转换点定位模型,所以性能会更优一点。
ModelScope上发布的这个模型'damo/speech_campplus_speaker-diarization_common'包含说话人转换点定位模型,所以性能会更优一点。
iic/speech_campplus_speaker-diarization_common 以及iic/speech_eres2net-large_speaker-diarization_common 这两个模型能在funasr里面组合asr、vad等一起使用吗?
在funasr中已经集成campplus模型,正在集成eres2net-large模型,详情见https://github.com/alibaba-damo-academy/FunASR 具体组合需求可以进funasr钉钉群提。
在funasr中已经集成campplus模型,正在集成eres2net-large模型,详情见https://github.com/alibaba-damo-academy/FunASR 具体组合需求可以进funasr钉钉群提。
好的谢谢!
在funasr中已经集成campplus模型,正在集成eres2net-large模型,详情见https://github.com/alibaba-damo-academy/FunASR 具体组合需求可以进funasr钉钉群提。
如果想在funasr框架下使用iic/speech_campplus_speaker-diarization_common,spk_model参数值应该怎么写?还有后面的版本?
如果写cam++ 默认下载iic/speech_campplus_sv_zh-cn_16k-common
paraformer_model = AutoModel(model="/mydata/model/download/speech_seaco_paraformer_large_asr_nat-zh-cn-16k-common-vocab8404-pytorch", model_revision="v2.0.4", \
vad_model="/mydata/model/download/speech_fsmn_vad_zh-cn-16k-common-pytorch", vad_model_revision="v2.0.4", \
punc_model="/mydata/model/download/punc_ct-transformer_zh-cn-common-vocab272727-pytorch", punc_model_revision="v2.0.4",\
spk_model="", spk_model_revision="")
具体可以参考funasr示例或者从上述github链接中进入钉钉群询问,会有专业同学答疑,感谢您的提问,如果觉得有帮助可以give a star!
社区软件包是还不支持结合说话人模型iic/speech_campplus_sv_zh-cn_16k-common实现说话日志功能吗?
我加了spk_model参数,报错了
PARSE ERROR: Argument: --spk_model
Couldn't find match for argument