机器学习五要素 之 开篇

作者：lambdaji

缘起 如何看待公司里算法岗位做数据挖掘大多都是抽特征跑跑现成模型，而不是造框架造轮子？ - 知乎，鉴于算法工程师日常苦逼的搬砖工作，帖子里给出了相当形象的描述：“调包侠”，“调参师”，“大多都是抽特征跑跑现成模型”等等， 这些话说起来很简单，看起来也很容易，但真的是这样吗？

《机器学习五要素》系列将以总-分的结构谈一谈对这个问题的理解。本系列共分为1+5部分：part-1把算法拆解成5个要素，从微观角度看看设计一个靠谱的模型需要注意哪些地方；其余5 parts分别对5个要素进行详细介绍。

机器学习算法五要素：

* {x,y}                - 数据中有多少东西可以学？

* f(x)                 - 模型有多聪明？能够学多少？

* objective            - 定个目标，KPI导向

* optimization         - 学习方法很重要

* evaluation           - 德智体美劳全面发展的“三好模型”

#1 {x,y}

数据被称为21世纪的“石油”，其价值不言而喻。数据，或者说信息的作用是什么？根据香农的定义，信息是减少事物不确定性的量度。数据的根本用途就是提供决策依据（“运筹帷幄之中，决胜千里之外”；“以往鉴来，未卜先知”等等），而数据中的信息量决定了所能达到的上限。

数据环节是整个模型搭建过程中工作量最大的地方，从埋点，日志上报，清洗，存储到特征工程，用户画像，物品画像，都是些脏活累活，通常被认为最没有含金量同时也是对效果影响最大的地方。这块要具体问题具体分析，以个性化推荐为例讲讲特征工程中的信息损失：

这是一个“以往鉴来，未卜先知 ”的预测问题，我们想要预测未来，预测每个人的未来，甚至实时预测每个人的未来。要想做好这件事情，对过去、对用户、对物品越了解越好，我们需要采集用户的行为（什么人在什么时间什么地点以什么方式对什么东西做了什么事情做到什么程度 ），构建用户兴趣图谱，然后在此基础上去做预测。

这个链条中每个环节都会有信息损失：

--有些是因为采集不到，比如用户当时所处的环境，心情等等；

--有些是采集得到但是暂时没有办法用起来，比如电商领域用户直接感知到是一张图片，点或不点很大程度上取决于这张图片，深度学习火之前这部分信息很难利用起来；

--还有些是采集得到，也用的起来，但是因为加工手段造成的损失，比如时间窗口取多久，特征离散成几段，pooling等等。

我们期望各环节的信息损失越少越好，后续f(x)等要素的发挥空间才会越大，{x,y}决定了Bayes Optimal Error —— 即使是开了“上帝视角”的算法也要犯得错。

#2 f(x)

f(x)的设计主要围绕参数量和结构两个方向做创新，这两个参数决定了算法的学习能力，从数据里面挖掘信息的能力（信息利用率），类比到人身上就是“天赋”、“潜质”类的东西，衡量这个模型有多“聪明”。相应地，上面的{x,y}就是你经历了多少事情，经历越多+越聪明就能悟出越多的道理。

模型复杂度-VC维

参数量表示模型复杂度，一般用VC维衡量。VC维越大，模型就越复杂，学习能力就越强。在数据量比较小的时候，高 VC 维的模型比低 VC 维的模型效果要差，但这只是故事的一部分；有了更多数据以后，就会发现低 VC 维模型效果再也涨不上去了，但高的 VC 维模型还在不断上升。这时候高VC维模型可以对低VC维模型说：你考90分是因为你的实力在那里，我考100分是因为卷面只有100分。

当然VC维并不是越高越好，要和问题复杂度匹配：

-- 如果模型设计的比实际简单，模型表达能力不够，产生 high bias；

-- 如果模型设计的比实际复杂，模型容易over-fit，产生 high variance；而且模型越复杂，需要的样本量越大，DL动辄上亿样本！

模型结构

模型结构要解决的是把参数以哪种方式结合起来，比如“平面的”，“立体的”，甚至还可以加上“时间轴”。不同的模型结构有自身独特的性质，能够捕捉到数据中不同的模式，来看看几种典型的结构：

LR： 

只能学到线性信息，靠人工特征工程来提高非线性拟合能力

MLR：

与lr相比表达能力更强，lr不管什么用户什么物品全部共用一套参数，mlr可以做到每个分片拥有自己的参数：

-- 男生跟女生行为模式不一样，那就训练两个模型，男生一个女生一个，不共享参数

-- 服装行业跟3C行业规律不一样，那就训练两个模型，服装 一个3C一个，不共享参数

沿着这条路走到尽头可以给每个人训练一个模型，这才是真正的“个性化”！

FM：

自动做特征交叉，挖掘非线性信息

MLP：

能够以任意精度逼近任意连续函数，意思就是“都在里面了，需要啥你自己找吧”。

CNN：

给模型加上空间感知能力

RNN/LSTM：

给模型加上时间穿梭能力

#3 objective

模型的训练过程是KPI导向的，目标函数就是模型的KPI，它决定了接下来我们往哪个方向走。设计一个好的目标函数对模型来说是至关重要的，私以为这是五要素中重要性仅次于{x,y}的存在。学术界已有很多标准方法可选，但是如何与业务结合，如何把产品的KPI转化成模型的KPI挑战性依然很大。总的来说，既要好又要简单：

P（model|data） = P(data|model) * P(model)/P(data) —> log(d|m) + log(m)

* 损失函数：rmse/logloss/hinge/...

* 惩罚项：L1/L2/L21/dropout/weight decay/...

#4 optimization

目标有了，模型设计的足够聪明了，不学习或者学习方法不对，又是一个“伤仲永”式的悲剧。很多模型架构的表达能力都是同等的，性能上的差异都是由于某些结构比其他架构更容易优化导致的，接地气一点的说法就是：以绝大多数人的努力程度之低 根本轮不到去拼天赋。optimization要解决的问题是如何更快的找到一个“更好”的解。抛开贝叶斯派的方法，大致分为两类：

达尔文式

启发式算法，仿达尔文进化论，通过适应度函数进行“物竞天择，适者生存”式优化，比较有代表性的：遗传算法GA，粒子群算法PSO，蚁群算法AA；

适合解决复杂，指数规模，高维度，大空间等特征问题，如物流路经问题；问题是比较收敛慢，工业界很少用。

拉马克式

拉马克进化论，获得性遗传，直接修改基因(w)；比较有代表性的分两类：

-- sgd variants（sgd/Nesterov/Adagrad/RMSprop/Adam/SVRG...）

-- newton variants（newton/lbfgs/...）

#5 evaluation

怎么才算一个好的模型并没有统一标准，或多或少会牵扯到多方利益。在个性化推荐场景中牵扯到用户，广告主/内容生产方以及产品运营三者的博弈。总的来说，一个“三好模型”要满足以下三个层面：

* 算法层面：准确率，覆盖率，auc，logloss...

* 用户层面：用户体验，满意度，惊喜度...

*  公司层面：revenue，ctr，cvr...

#0 模型调优思路

拆解之后，模型调优的思路也很清晰了：想长胖，首先要有东西吃；其次要能吃，啥都能吃不挑食；最后消化要好

用一条公式来概括：模型效果 ∝ 数据信息量 x 算法信息利用率

一方面，扩充“信息量”，用户画像和物品画像要做好，把图片/文本这类不好量化处理的数据利用起来；

另一方面，改进f(x)提高“信息利用率”，挖到之前挖不到的规律；

Report Story