规则与统计

作者：老师木

我认为不应把规则和统计对立来讨论，或者用规则与统计来描述两种做法不够准确，用专家知识和数据驱动更准确。实际上规则来源于统计，统计表现为规则。

规则来源于统计：1）以前我在weibo提到过德国学者吉伦格尔的统计启发式那本书，有很多例子说明人们在日常生活中使用的启发式规则有深刻的统计根源;2）最近有许多以小孩儿学习语言的过程研究语言获取的工作，他们发现语言规则来自于生活经验的积累，这种积累可用贝叶斯公式刻画。

和白老观点不矛盾，他文末说统计模型也是规则。我强调规则和统计俩术语仅是表象，两种流派的本质区别是前者单纯依靠专家知识（语法），后者则着重依赖机器从数据中归纳出的规则（或表现为概率的软规则）。最终争论的问题是：不引入人的指导，机器是否能从数据中获得语言。这也是争论已久的先天后天的问题。

学过统计模式识别的人多数都见过这个例子，俩条件概率密度是一维高斯分布，根据某种先验带入贝叶斯公式并用最大后验去决策，这个例子得到的决策函数就是一个规则：取值小于某阈值归为一类，大于阈值归为另一类。还有一个例子，adaboost常说它是弱分类器集成，解剖一下，那弱分类器不就是一条条规则？

来源：www.guzili.com