机器学习五要素 LR
我爱计算机 作者：lambdaji
点击率预估模型，如果包括各个模型的变种，可能不下数十种，主流模型大概分几个流派：
- 复杂特征+简单模型：以大规模离散LR为代表，学到的知识全部存储到模型
- 简单特征+复杂模型：以GBDT，DNN为代表，学到的知识存储在特征和模型两个地方
不管哪一种都是就相对静态的，都是截取过去某一个时间片的规律来预测未来。潜在假设是过去时规律在未来同样有效，这种假设在现实面前还是too young too simple，sometimes naive。用户的行为影响推荐系统，推荐系统又反过来影响用户的行为，循环往复；除了模型自身的扰动，还有运营手段以及外部大环境的干扰，很多因素都在改变数据中的规律，模型刚上线效果非常好，运行一段时间之后慢慢变得不起作用。目前看到两条路尝试解决这个问题：
- 一条路是“与时俱进”，更快的模型更新
- 另一条路是引入博弈论，强化学习对user-system交互行为进行更优雅的建模
综上，ctr预估的f(x)可以分 大规模离散LR，DNN&Embedding，以及Reinforcement-Learing 三个分支，本文着重介绍大规模离散LR分支的两条演进路线：
1.非线性
--离散化
--特征变换：kernel，GBDT+LR
--交叉：FM，FFM，LASER
2.稀疏性
--L1：lasso
--L2：ridge
--L2-1：Elastic Net
参考资料：
[1] http://www.meihua.info/a/65329
[2] http://www.difangzhi.org/1375930.html
[3] http://tech.meituan.com/deep-understanding-of-ffm-principles-and-practices.html
[4] 海量数据下的非线性模型探索
[5] Coupled Group Lasso for Web-Scale CTR Prediction in Display Advertising
[6] Simple and scalable response prediction for display advertising
[7] LASER: A Scalable Response Prediction Platform For Online Advertising
[8] Computational Advertising: The LinkedIn Way
[9] Field-aware Factorization Machines for CTR Prediction
[10] Factorization Machines
[11] Factorization Machines with libFM
[12] Netflix winner solution PPT
[13] http://blog.csdn.net/zc02051126/article/details/54614230
[14] http://www.voidcn.com/blog/lujiandong1/article/p-6339162.html fm = lr+embedding 与DNN联系起来
