模型权重压缩

[www.ziwang.com]

https://github.com/perryosa/model_weight_compression

model_weight_compression
按照要求显示模型压缩的方法之一。我正在model_compression.py文件中提供相同的代码。

代码导航：-

1.代码中的给定架构是我自己的语音增强架构。[论文已被接受发表在IEEE Signal Processing Letters上]所以我在共享代码方面没有任何问题。
2.我用于显示权重压缩的权重也是我在 Mozilla 语音语料库上训练的模型权重。
3. 加载模型和模型权重后，模型压缩代码开始。
4.请从谷歌云端硬盘链接下载给定的权重，并以tf为单位给出权重路径。会话还原行注意-作为参考，我没有获得任何网站或文章的帮助。在阅读问题陈述后，我仔细考虑了如何解决这个问题。

方法：- 我已经提取了所有模型层的权重。重塑单个层的权重以展平（转换为 1-D）。在展平单个层权重后，我将所有图层权重连接在一起，使其成为一个大的 1-D 权重数组。最初的大小约为（700000，1）
之后，我在一维数组上应用了KMeans聚类（我已经为它编写了初始代码，但它很慢，所以我使用了sklearn）。
在 KMean 中，我选择的集群大小为 7000。因此，所有 1-D 7lack 点仅分配给 7000 个聚类。换句话说，我们需要存储的 7 个缺少的权重被压缩到 7000 个权重。使用此功能，我们节省了约100倍的空间以减轻重量。
另外，我们需要一个查找表，我们需要在计算时解压缩权重。该查找表将来自 Kmeans 聚类，它将为我们提供权重索引和相应的聚类值。
使用这种方法，我们可以根据聚类的数量压缩我们的模型。随着聚类数量的减少，精度将降低。Sp 我们将通过实验找到调制解调器权重大小（集群数量）和精度之间的权衡值。