如何理解和解释，固定的DCT比可学习的方式更好？

[Frank Star]

如题。如何理解和解释，固定的DCT比可学习的方式更好？也就是说，网络无法学习或者很难学习到一个更好的结果，来作为频率分量模板？

[cfzd]

@Frank-Star-fn
我觉得可能还是要从以下的角度去解释这件事吧：

• 本质上我觉得还是数据量不够大吧。DCT比可学习的方式好可以理解为我们给他加了偏置（Inductive bias）进去，使得我们使用较小的数据量，或者不需要数据量直接利用DCT这种结构就可以work。（DCT也可以认为是一种人类经过几百万年优化出来的预训练权重）
• 如果数据量足够大，或者优化方式足够好，可学习的方式当然是包含DCT这一特例的，是有可能优化到DCT的吧
• DCT本身结构还是比较精妙的，比如它的低频已经能够很好地表达几乎所有的信号强度，并且这种能力是universal的而不是数据依赖的，并且DCT的基之间是相互正交的，因此不同的频段是没有冗余的；而学出来的基不能保证没有冗余，不能保证寥寥几个基就能表达大部分信息，也不能保证相互正交，他们还是数据驱动的，数据驱动还不一定数据集够大，优化方法够好

基于以上种种原因吧，我觉得可学习的目前还是没法达到DCT基的能力

[Frank Star]

谢谢您的答复！