FACEGOOD / FACEGOOD-Audio2Face

http://www.facegood.cc

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

请问如何导出ARKIT的blendshape weights?

yihu-dev opened this issue · comments

在流程图里是生成ARKIT的blendshape weight, 但是看训练数据是116个 blendshape weight。
请问能导出ARKIT的weights吗?
或者如何把116个的blendshape weights 转换到ARKIT的形式?

老哥你解决了么?他这个116个系数还跟blendshape的基础曲线curve取名不一样。

没解决。我也看了训练代码和附带的一些数据,那个包含116个blendshape的asset好像是他们自己内部的asset。
看其中bs_name_1015_to_1119.py里的代码,还把名字重新排列了一下。

查avatary文档,https://wiki.avatary.cc/#/docs_es/Tutorials-retargeter 第四个视频的第3:53秒左右,发现可以选择不同的blendshape的asset作为retarget目标,其中看到有包含116bs的选项,可能这里用的数据是选择了116bs的asset制作的。

要导出ARKIT的weight的话得拿到raw视频和tracker数据,然后重新retarget到52BS的asset。不知道还有没有其他方法。

commented

the way to transform 116 bs weights to ARKIT 52 bs weights is upload in DOC folder. Voice2Face_blendshape2ARkit.xlsx. it maybe helpful

the way to transform 116 bs weights to ARKIT 52 bs weights is upload in DOC folder. Voice2Face_blendshape2ARkit.xlsx. it maybe helpful

我从Google Drive下载了个训练数据,发现那些数据只有38维。
请问能上传116维的训练数据吗。
感谢感谢。

我发现 mouth_oh_c 和 mouth_oo_c 这2个维度,没办法映射到 ARKit 的 52 维里面,但是从提供的训练好的神经网络输出来看,这2个维度的输出,变化起伏很大,可能对3D驱动有至关重要的影响,请问能提供 mouth_oh_c 和 mouth_oo_c 如何映射到 ARKIT 吗?

@yihu-dev @Scagin @SZNero 小白请教下各位,有么有wave+blendshape的开源训练数据? 这个数据是不是处理好的LPC的特征。但是我目前使用的都是mels特征,想从wave直接提取。感谢!