高斯分布

作者：老师木

关于高斯分布，@rickjin写了一个更好的文章，先推荐一下。

1733年，德-莫佛（De Moivre）在给友人分发的一篇文章中给出了正态曲线（这一历史刚开始被人们忽略）。1783年，拉普拉斯指出正态曲线方程适合于表示误差分布的概率。1809年，高斯发表了关于天体运行论的著作，在第二卷第三节中，他导出正态曲线适合于表示误差规律，同时承认拉普拉斯较早的推导。正态分布在十九世纪前叶因高斯的工作而加以推广，所以通常称作高斯分布。

卡尔-皮尔逊指出德-莫佛是正态曲线的创始人，第一个称它为正态分布，但人们仍习惯称之为高斯分布。1805年，Legendre提出最小二乘法，高斯声称自己在1794年用过，并在1809年基于误差的高斯分布假设，给出了严格推导。

要领略高斯分布的美妙，至少有几个方面不可缺少：

1）  与中心极限定理的联系；

2）  与最小二乘拟合的关系；

3）  与最大熵原理的联系，高斯分布在给定一阶和二阶统计量约束下熵最大的分布。

4）  高斯分布与机器学习2范数正则化的联系，特别是SVM中常用最大间隔概念的联系；

5）  高斯分布与大家耳熟能详的主成分分析PCA的理论联系；

6）  高斯的共轭分布还是高斯，这是不是唯一具有这个性质的分布；

7）  高斯分布与独立成分分析ICA的理论联系，主要用到高斯分布不相关与独立的等价性（严格地说有个小陷阱，我被网友指正过）。

来源：www.guzili.com