关于Voice2Face_blendshape2ARkit.xlsx中映射关系有点疑问
Chromer163 opened this issue · comments
从arkit到maya的映射关系来看，以jawOpen为例，对应maya中
'mouth_stretch_c'这个表情，但是从训练数据来看，label中这个维度都是0，这样导致训练出来的模型jawOpen输出均为0，求解？不知道是不是我的使用方式有问题还是你们映射错了。
谢谢～
补充一点，我使用训练集label直接渲染arkit，但是渲染效果不正确，请解答一下谢谢～
补充一点，我使用训练集label直接渲染arkit，但是渲染效果不正确，请解答一下谢谢～
mouth_stretch_c 这个确实是控制jawopen的 ，dataSet有多个我会重新排查一下是否我这边出的问题
20201026150906.csv
这个是我测试保存下来的预测数据，你可以看一下。
补充一点，我使用训练集label直接渲染arkit，但是渲染效果不正确，请解答一下谢谢～
我们本身并不直接驱动ARKit blendshape 所以在混合上可能有些权重误差，直接对应驱动肯定是有问题的
补充一点，我使用训练集label直接渲染arkit，但是渲染效果不正确，请解答一下谢谢～
我们本身并不直接驱动ARKit blendshape 所以在混合上可能有些权重误差，直接对应驱动肯定是有问题的
嗯呢 我这边也再次检查一下，另外就是我是从maya38个映射到52个按照表格里面定义的关系，包括max或者invalid那些。再次感谢！
补充一点，我使用训练集label直接渲染arkit，但是渲染效果不正确，请解答一下谢谢～
我们本身并不直接驱动ARKit blendshape 所以在混合上可能有些权重误差，直接对应驱动肯定是有问题的
另外就是，你们放出的pb模型是不是在另一批数据上训练的，并不是repo里面下载链接那一批，这样的话pb按照映射关系输出是对的，而repo里面可能有问题？这是我的一个猜想。
Hi, 我写了个脚本用来转换数据，训练测试结果还可以，但是没有emotion部分，因为数据里只有部分嘴部的bs weight数据。
这里提供的代码的emotional state部分跟论文里的不一样，所以我根据论文重写了pytorch代码复现的，可能会跟这个代码的结果不一样。
https://gist.github.com/yihu-dev/2d0a503f0542d15465239907dfe414d9
嗯嗯 谢谢 我试了一下，jawOpen有输出，我定位到问题在于你的116的表情的顺序是[0, 2, 3, 4, 5, 6, 7, 8, 9, 10, 12, 11, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 94, 93, 95, 96, 97, 98, 99, 100, 101, 102, 103, 105, 104, 106, 107, 108, 109, 110, 111, 112, 113, 114, 1, 115]
而我使用的bs_name顺序是code/train/step3_concat_select_split.py中的[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 11, 12, 16, 17, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 34, 35, 36, 37, 39, 46, 47, 48, 49, 50, 55, 56, 61, 62, 65, 70, 71, 72, 73, 83, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95, 96, 97, 98, 99, 100, 101, 102, 103, 104, 105, 106, 107, 108, 109, 110, 111, 112, 113, 114, 115]这样导致表情和你有一个位置的错位，我不清楚为啥用你这个顺序，但是你的这个bs_name是ok的。
@SZNero 您也看看是不是这个原因。
我也都试过，最后参考的是 bs_name_1015_to_1119.py 里的 bs_index，然后render之后结果口型也大致符合预期。
就是说你微调了 step3_concat_select_split.py中的bs_name的顺序，将1那个index移到了115旁边？我昨天分析了label的mean和std，是感觉到有index的错位的
就是说你微调了 step3_concat_select_split.py中的bs_name的顺序，将1那个index移到了115旁边？我昨天分析了label的mean和std，是感觉到有index的错位的
是用的 bs_name_1015_to_1119.py 里的bs_name_index
就是说你微调了 step3_concat_select_split.py中的bs_name的顺序，将1那个index移到了115旁边？我昨天分析了label的mean和std，是感觉到有index的错位的
是用的 bs_name_1015_to_1119.py 里的bs_name_index
嗯嗯 我尝试一下 感觉接近破案了 谢谢哈
从arkit到maya的映射关系来看，以jawOpen为例，对应maya中 'mouth_stretch_c'这个表情，但是从训练数据来看，label中这个维度都是0，这样导致训练出来的模型jawOpen输出均为0，求解？不知道是不是我的使用方式有问题还是你们映射错了。
您好，请问您是通过什么方式从blendshape参数渲染出视频的呢？
@SZNero @Chromer163
请问一下，如果想直接渲染 ARKIT 或 metahuman，不能用数据直接对应驱动的话，应该怎么去解决这个问题呢？
@SZNero @Chromer163 请问一下，如果想直接渲染 ARKIT 或 metahuman，不能用数据直接对应驱动的话，应该怎么去解决这个问题呢？
同问