概率图

概率图

作者：@老师木
来源：www.guzili.com

概率图内容非常多，这只是以前微博的只言片语。

概率图是图论和概率理论联姻的产物，借助图结构表达多元随机变量之间复杂的概率依赖关系（图结构所蕴含的条件独立性可大大简化某些概率表达和计算），概率图有一整套严谨优雅的表示，学习和推理的算法，使过去人工智能中的ad hoc的解决方案变得系统化，影响不限于计算机领域，对金融、心理学都有深远影响。

Judea pearl在该领域做了最早最重要的贡献，最早的一篇论文只有几页，发在aaai上。值得一提的是，在这个领域刚萌芽时，七八十年代清华搞模式识别的先驱常炯教授的小组就重视学习还做出了一些贡献，但后来就绝迹了。在两千年左右又热起来。

Graphical model火的一个例子是CRF广泛应用，做出CNN的Lecun Yann的团队曾在一篇文章中说他们比lafferty更早做出CRF，也就是98年 IEEE proceddings上那篇很长文章中描述的graph transformer networks，去读这篇会发现算法的本质确实是一样的。

Graphical Model不仅仅是算法，还是个理论框架，卷积神经网络等网络都可转化成概率图模型，当然概率图也可视为神经网络，二者不是对立的。Cnn实用性好，不是因为它不是概率图模型，而是因at&t那批重实用的人做的。

LDA中，数据集合上的topic有model distribution，而pLSA中，数据集合上topic只有empirical distribution；前者是bayesian，后者是mle，数据足够多时，二者趋同。

来源：www.guzili.com