yeyupiaoling / VoiceprintRecognition-Tensorflow

请问创建数据那一项是什么意思？创建一个json文件，把文件路径/文件名按K/V的方式手动写进去吗？

生成类似下面的格式写数据列表。如果是使用项目指定的数据，执行create_data.py就能生成，自定义数据集，根据自己的数据格式，生成下面这种数据列表

dataset/zhvoice/zhmagicdata/5_895/5_895_20170614203758.wav	3238
dataset/zhvoice/zhmagicdata/5_895/5_895_20170614214007.wav	3238
dataset/zhvoice/zhmagicdata/5_941/5_941_20170613151344.wav	3239
dataset/zhvoice/zhmagicdata/5_941/5_941_20170614221329.wav	3239
dataset/zhvoice/zhmagicdata/5_941/5_941_20170616153308.wav	3239
dataset/zhvoice/zhmagicdata/5_968/5_968_20170614162657.wav	3240
dataset/zhvoice/zhmagicdata/5_968/5_968_20170622194003.wav	3240
dataset/zhvoice/zhmagicdata/5_968/5_968_20170707200554.wav	3240
dataset/zhvoice/zhmagicdata/5_970/5_970_20170616000122.wav	3241

我理解下，就是说如果我从你给的中文语料数据集下载数据，实际上是不需要执行create_data.py的吗？只需要把数据放到正确的位置即可？只有当我用自己的数据时，才需要执行这个py文件，这时候这个文件会帮我生成一个类似K/V的数据列表，这样吗？

要执行的。下载数据之后，解压全部压缩文件，然后执行create_data.py。因为下载的数据没有这个列表

了解，多谢，我试下看看

hello，我又来请教问题了，昨天调试了环境，因为用的是MAC M1，所以python环境需要做些适配，今天看上去环境是可以用了，但是我在运行程序的时候既不报错，也没有任何效果，像是没有执行，不知道这个是我的环境问题还是程序哪里需要做配置，资源文件我已经放在目录里了，详见下图：

估计是内存爆了吧？
为啥第一行print都没打印？

我也奇怪，内存我分配到10个G了，而且内存爆了应该会有异常，我这个是很正常的就到Process finished

看来还是有可能是我的环境问题。

给他16G试试，我的就是16G

不过我的是windows

我试试

hello, 又是我，哈哈
我处理了一下M1芯片的环境，现在看上去是可以跑了，这个输出看上去是开始执行程序了
但是我想问下，按输出的提示，这个过程是需要执行32个小时吗？以及执行过后我可以通过什么来判断执行成功了？

这是制作数据，把mp3转成wav，是比较消耗时间的。

OK，所以我到时候看下各个文件夹下面的数据是不是变成.wav就可以判断是不是执行成功了吧？

hello, 打扰了，这次想请教两个问题：
我之前给了10G内存，刚刚执行到32%报内存不够了，给到16G内存能行吗？
以及，加了内存重新跑会从头开始跑吗？如果从头开始的话，我是不是需要先手动清理下之前处理的数据？

OK,我试过了，可以接上之前的进度，厉害了

没有看到最后提示的日志，不知道是不是内存不足

报错原因：Process finished with exit code 130 (interrupted by signal 2: SIGINT)
我查过了，确实是内存不足

加到16G我再试试

哦哦，好的

3Q

hello，看日志我应该是执行完了，这样正常吗？
有一些找不到文件的error，以及一些‘非静音部分长度不能低于1.3秒的提示’

以及，infodata.json里面没有.wav文件路径；test_list.txt文件的数据到2221之后就没有了，和你的工程里3241有点差距，这样算有异常吗？

hello，看日志我应该是执行完了，这样正常吗？
有一些找不到文件的error，以及一些‘非静音部分长度不能低于1.3秒的提示’

正常的

OK，3Q

以及，infodata.json里面没有.wav文件路径；test_list.txt文件的数据到2221之后就没有了，和你的工程里3241有点差距，这样算有异常吗？

这个不正常。你重新生成列表看下

重新生成？是指删除现在的infodata里面的内容，然后重新执行createdata.py吗？

会不会跟文件大小有关？dow下来的时候就这么多数据了，显示只读

或者我手动把这个文件的.mp3全部替换成.wav?我看目录下面的mp3文件确实已经转成wav了

只有sample这个文件夹下面的数据还是mp3格式

执行这个

VoiceprintRecognition-Tensorflow/create_data.py

Line 70 in 1228a0b

    
           get_data_list('dataset/zhvoice/text/infodata.json', 'dataset', 'dataset/zhvoice')

sample下不会管的

执行前需要先清空infodata.json的内容吗？现在300+m，很可能是不能编辑了

不用，那个是编辑打开的问题，代码会全部读取的。

执行了一遍，还是没有变化，报了很多error:

好像确实没这个文件夹：

你没解压？

解压出错了，是这个问题？我看看为什么解压出错

这三个文件夹是不是只需要解压其中一个放进工程目录就可以了？我看这三个好像是格式不同，名字倒是一样的

这个是分包压缩的，解压zip会自动全部解压的。

了解

hello，几天不见，我又来打扰了，哈哈
数据处理看日志是正常结束了，train遇到点问题：
1.先是在这一步停了小几分钟：

2. 接着debug到这一步：

3. 最后停在这里报错：

不知道你是否知道或者有没有遇到过这个问题

PS. 另外我的日志和你的日志还有点区别，有些红色日志，但又不是error：

上面那些红色的是提示加载数据集，这是正常的。你的错误是内存不足，加载数据太多了，这里设置小一些就好。

VoiceprintRecognition-Tensorflow/utils/reader.py

Line 53 in 1228a0b

train_dataset = ds.shuffle(buffer_size=1000) \

建议使用Pytorch版本或者PaddlePaddle版本吧。

了解
是指这些工程吗：

是的，Tensorflow版本我很久没更新了。

OK，我试试

数据是通用的

了解

对了，一定要用3.7吗？
因为我用的是mac M1芯片，所以现在搭环境都是用的conda，conda现在好像只能装3.8以上版本的python

不一定

了解，我试试3.8

hello, 我改用了pytorch的工程，前面都很正常，但是训练模型的日志和readme的日志有点不一样：

看上去训练的过程是不是直接跳过了？不知道是不是有问题

我确实对程序做了点修改，因为本机是mac m1，没有GPU，所以程序里面几个用到‘cuda’参数的地方我都改成了 ‘cpu’:

不知道这么改对训练会不会有什么影响？

Thanks.

是这里的问题吧？：

我是不是得改下这里的程序？

但是我新的日志还在刷新，这地方的数据已经从一条增加到三条了，看上去是在做什么事情

首先输出模型结构是后面加上的，文档没有更新。

深度学习模型很依赖GPU，用CPU训练，不知道要训练到猴年马月

但是我新的日志还在刷新，这地方的数据已经从一条增加到三条了，看上去是在做什么事情

这是训练输出的日志

了解，这块我不是很熟悉，学到了

对了，你之前用gpu训练大概需要花多久时间？

14小时

gai该不会这些都是真实时间吧？

乖乖，那我这个真的要三百天才能训练完

不完全正确，后面的才合理

依你的经验，我应该换个什么服务器比较好？ubuntu或者linux?

Ubuntu就是Linux的一种，建议用Ubuntu，最重要的是要GPU

了解，我找找资源

新问题在对应项目里面提issue，这个我先关了。

创建数据的问题咨询