ming71 / PGM

notes

《概率图原理与技术》笔记

上传防丢，未完待续，可能不续。。。

注：笔记在Koller全书笔记文件夹下，markdown写的，建议离线用编辑器打开，部分图片显示不出来的直接在pic文件夹，可能路径有问题，直接看看就行。

• 第一章 引言

• • 1.1 动机

  • 1.2 结构化概率模型

  • • 1.2.1 概率图模型
    • 1.2.2 表示、推理、学习

  • 1.3 概述和路线图

• 第二章 基础知识

• • 2.1 概率论

  • • 2.1.1 概率分布
    • 2.1.2 概率中的基本概念
    • 2.1.3 随机变量与联合分布
    • 2.1.4 独立性与条件独立
    • 2.1.5 分布查询
    • 2.1.6 连续空间
    • 2.1.7 期望与方差

  • 2.2 图

  • • 2.2.1 节点与边
    • 2.2.2 子图
    • 2.2.3 路径和迹
    • 2.2.4 圈与环

• 第三章 贝叶斯网表示

• • 3.1 独立性性质的利用

  • • 3.1.1 随机变量的独立性

    • 3.1.2 条件参数化方法

    • 3.1.3 朴素贝叶斯模型

    • • 3.1.3.1 学生示例
      • 3.1.3.2 一般模型

  • 3.2 贝叶斯网

  • • 3.2.1 学生示例

    • • 3.2.1.1 模型建立
      • 3.2.1.2 推理模式

    • 3.2.2 贝叶斯网的基本独立性

    • • 3.2.2.1 学生示例中的独立性
      • 3.2.2.2 贝叶斯网语义

    • 3.2.3 图与分布

    • • 3.2.3.1 I-Map（independency map）
      • 3.2.3.2 I-map到因子分解
      • 3.2.3.3 因子分解到I-map

  • 3.3 图中的独立性

  • • • 3.3.1 d-分离
      • 3.3.1 可靠性与完备性
      • 3.3.1 d-分离算法

    • 3.3.4 I-等价

  • 3.4 从分布到图

  • • 3.4.1 最小I-map
    • 3.4.2 P-map

• 第四章 无向图模型

• • 4.1 误解示例

  • 4.2 参数化

  • • 4.2.1 因子
    • 4.2.2 吉布斯分布与马尔可夫网
    • 4.2.3 简化的马尔可夫网

  • 4.3 马尔可夫网的独立性

  • • 4.3.1 基本独立性

    • 4.3.2 独立性回顾

    • • 4.3.2.1 局部马尔可夫假设
      • 4.3.2.2 马尔可夫性质之间的关系

    • 4.3.3 从分布到图

  • 4.4 参数化回顾

  • • 4.4.1 细粒度参数化方法

    • • 4.4.1.1 因子图
      • 4.4.1.2 对数线性模型
      • 4.4.1.3 讨论

    • 4.4.2 过参数化

  • 4.5 贝叶斯网与马尔可夫网

• 第五章 局部概率模型

• • 5.1 CPD表

  • 5.2 确定性CPD

  • • 5.2.1 表示
    • 5.2.2 独立性

  • 5.3 特定上下文CPD

  • • 5.3.1 表示

    • • 5.3.1.1 树-CPD
      • 5.3.1.2 规则CPD
      • 5.3.1.3 其他表示

    • 5.3.2 独立性

  • 5.4 因果影响的独立性

  • • 5.4.1 Noisy-or模型

    • 5.4.2 广义线性模型

    • • 5.4.2.1 二值变量
      • 5.4.2.2 多值变量

    • 5.4.3 一般化公式表示

    • 5.4.4 独立性

  • 5.5 连续变量

  • • 5.5.1 混合模型

  • 5.6 条件贝叶斯网

• 第六章 基于模板的表示

• • 6.1 引言

  • 6.2 时序模型

  • • 6.2.1 基本假设

    • 6.2.2 动态贝叶斯网

    • 6.2.3 状态-观测模型

    • • 6.2.3.1 隐马尔可夫模型
      • 6.2.3.2 线性动态系统

  • 6.3 模板变量与模板因子

  • 6.4 对象-关系领域的有向概率模型

  • • 6.4.1 Plate模型
    • 6.4.2 概率关系模型

  • 6.5 无向表示

  • 6.6 结构的不确定性

• 第七章 高斯网络模型

• • 7.1 多元高斯分布

  • • 7.1.1 基本参数化方法
    • 7.1.2 高斯分布的运算
    • 7.1.3 高斯分布的独立性

  • 7.2 高斯贝叶斯网

  • 7.3 高斯马尔可夫随机场

• 第八章 指数族

• • 8.1 引言

  • 8.2 指数族

  • • 8.2.1 线性指数族

  • 8.3 因式化的指数族(factored exponential families)

  • • 8.3.1 乘积分布
    • 8.3.2 贝叶斯网

  • 8.4 熵和相对熵

  • • 8.4.1 熵

    • • 8.4.1.1 指数模型的熵
      • 8.4.1.2 贝叶斯网的熵

    • 8.4.2 相对熵

  • 8.5 投影

  • • 8.5.1 比较
    • 8.5.2 M-投影
    • 8.5.3 I-投影

• 第九章 精确推理：变量消除

• • 9.1 复杂性分析

  • 9.2 变量消除：基本思路

  • 9.3 变量消除

  • • 9.3.1 基本消除

    • • 9.3.1.1 因子边缘化
      • 9.3.1.2 变量消除算法
      • 9.3.1.3 因子语义

    • 9.3.2 证据处理

  • 9.4 复杂度与图结构：变量消除

  • • 9.4.1 简单分析

    • 9.4.2 图论分析

    • • 9.4.2.1 因子与无向图
      • 9.4.2.2 作为图变换的消除
      • 9.4.2.3 导出图

    • 9.4.3 寻找消除顺序

  • 9.5 条件作用

• 第十章 精确推理：团树

• • 10.1 变量消除与团树

  • • 10.1.1 聚类图
    • 10.1.2 团树

  • 10.2 消息传递：和积

  • • 10.2.1 团树中的变量消除

    • • 10.2.1.1 一个例子（重要）
      • 10.2.1.2 团树消息传递
      • 10.2.1.3 正确性

    • 10.2.2 团树校准

    • 10.2.3 将校准团树作为一个分布

  • 10.3 消息传递：置信更新

  • • 10.3.1 使用除法的消息传递
    • 10.3.3 回答查询

  • 10.4 构建一个树

  • • 10.4.1 源自变量消除的团树
    • 10.4.2 源自弦图的团树

• 第十一章 作为优化的推理

• • 11.1 从推理到优化

  • 11.2 作为优化的精确推理

  • 11.3 基于传播的近似

  • • 11.3.1 一个引例

    • 11.3.2 聚类图置信传播

    • 11.3.3 聚类图置信传播的性质

    • • 11.3.3.1 重参数化
      • 11.3.3.2 树的一致性

    • 11.3.4 收敛性分析

    • 11.3.5 构建聚类图

    • • 11.3.5.1 成对马尔可夫网
      • 11.3.5.2 Bethe聚类图
      • 11.3.5.3 边缘概率之外

    • 11.3.6 变分分析

    • 11.3.7 其他熵近似

    • 11.3.8 讨论

  • 11.4 近似消息传播

  • • 11.4.4 期望传播

  • 11.5 结构化的变分近似

  • • 11.5.1 平均场近似

同时借鉴参考的内容包括：

• 白板推导大佬
• Koller原书
• PRML
• 公开课（Eric Xing，Koller，徐亦达）
• 网上课件