Visualize-ML / Book4_Power-of-Matrix

Book_4_《矩阵力量》 | 鸢尾花书:从加减乘除到机器学习;上架!

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Ch18_p20. Eq. (43) - (45) 第四个优化问题求解过程

shuoChenTHU opened this issue · comments

请大家自己将 (45) 代入 (43),并完成推导。
grafik

这里我没有太看明白把(45) 代入(43) 的目的是什么。最终是想证明优化问题4和3是等价的,从优化3的推导过程我们已经知道最优解想到于通过对 $\boldsymbol{B}^{−1}\boldsymbol{A}$ 进行特征值分解来找其特征向量。在这个前提下,只关注(43),相当于要推导分解 $\boldsymbol{B}^{\frac{-1}{2} \mathrm{~T}} \boldsymbol{A} \boldsymbol{B}^{\frac{-1}{2}}$$\boldsymbol{B}^{−1}\boldsymbol{A}$ 是等价的。令 $\boldsymbol{M}=\boldsymbol{B}^{\frac{-1}{2}\mathrm{~T}} \boldsymbol{A}^{\frac{-1}{2}}$,那么对 $\boldsymbol{M}$ 的格拉姆矩阵 $\boldsymbol{M} \boldsymbol{M}^T=\boldsymbol{B}^{\frac{-1}{2} \mathrm{~T}} \boldsymbol{A} \boldsymbol{B}^{\frac{-1}{2}}$ 进行特征值分解,就可以得到对应优化问题3中形式的特征向量。我这样理解有没有问题?

如果这种推导过程成立,那就没有必要把 $\boldsymbol{B}$ 展开再代入了:如果上面的推导不合理,一定要把 $\boldsymbol{B}^{\frac{-1}{2}}=\boldsymbol{V} \boldsymbol{\Lambda}^{\frac{-1}{2}} \boldsymbol{V}^{\mathrm{T}}$ 代入回(43)的分子,那中间的矩阵 $\boldsymbol{A}$ 还是没法消去,莫非是要写成列向量的形式,然后把对角矩阵分别提取出来乘到一起么?那整个推导过程就太复杂了。

有可能我一开始想的方向就有问题,如果有简单的推导过程,很想知道是怎么操作的。。。

整个过程就是要把分母写成瑞利商分母的形式,比如xTx,或zTz,或yTy

整个过程就是要把分母写成瑞利商分母的形式,比如xTx,或zTz,或yTy

这块我再仔细消化一下,前一步分母改写比较容易理解,然后(45) 代入(43) 是代回分子,还是没绕太清楚。
如果令 $\boldsymbol{C} =\boldsymbol{B}^{\frac{-1}{2} \mathrm{~T}} \boldsymbol{A} \boldsymbol{B}^{\frac{-1}{2}}$

(43)就转化为前面(35)甚至(29)的形式,剩下的就是对 $\boldsymbol{C}$ 特征值分解,这里我没get到和 $\boldsymbol{B}$ 特征值的关联体现在哪。