tagger会core掉
zhangkaixu opened this issue · comments
要找原因
整个代码已经做到了没有显式的new和delete
在dev上用valgrind也完美通过
很奇怪为什么大规模训练的时候会core
原因已经定位，是std::vector的size double的时候内存不够用了
首先看看大内存机器是否不会有问题
不行就把这个大的vector分成若干shared_ptr的小内存片段
将权重数据结构改为最直白的 map<string, vector<double>>， 然后记得每个reserve一下，在linux虚拟机和cygwin下均跑过。不过就是1G+的内存还是不少。