周志华:机器学习的现状和未来
在 2016 CCF-GAIR 全球人工智能与机器人峰会上,周志华教授接受了雷锋网的采访,分享了他对于机器学习的现状以及未来的看法。声明:本文转载自雷锋网。
| 深度学习技术在机器学习中的地位
对于普通大众来说,可能深度学习这个概念十分的热门。其实在去年机器学习领域中顶级学术会议NIPS2015(编者注:Neural Information Processing Systems,是神经计算方面最好的会议之一)中只有9%的投稿来自深度学习,相关论文总数在11%,总体上占10%左右。虽然在研究界来说只有百分之十,但是可能在大众看来就有百分之九十了。我认为在未来,必然会有其他技术可能达到或者超越深度学习技术目前的地位。
| 神经网络的热潮
神经网络学习是机器学习的一个分支,它特别热门是因为在图像、视频、语音方面取得了巨大的成功。而这些方面恰巧是普通大众比较能了解到的方面,所以造成大家有这种观点——感觉“神经网络特别热门。”其实也有其他机器学习方法在各自的领域也取得了巨大成功,但是一般大众对相关方面了解较少,所以对于神经网络可能了解得更多一些。
| 目前深度学习的一些进展
其实在机器学习中很多都是相同的,所谓深度学习——把它看成一种语言,它也并不是和以前的方法那么截然不同。可以把它当作一种描述方式,以前的很多内容我们把它用这种方式描述出来。其实今天的深度学习领域已经融入很多以往机器学习中的很多机理,它们本身其实是想通的,包括一些共性的理论问题,也都是一样的。
| 中国的机器学习研究和美国的差距在哪儿?
其实来说,整个中国的人工智能领域应该说可能是在计算机科学界里面是和国际的水平最接轨的之一(从很多指标上都能反应出来)。中国的相关研究水平和国外比的话,我们最强大的领域其实与国外已经没有差距了。但是,我们的研究厚度可能不够。比方说我们可能在某一方面到了一个比较高的位置,但是在其他方面可能还有缺乏,毕竟在这一领域发展起来还是晚了几十年。
| 机器学习的下一步怎么发展?
机器学习的下一步其实会往各种方向发展,一个大的趋势是因为不同类型的数据会越来越多,所以需要分析的数据也会越来越多。每一个新的任务都需要一种新的技术,可以说是往外辐射的一个状态。往后有很多任务可能都需要新的机器学习技术,但是一个大的趋势是我们要增加机器学习的鲁棒性。这个是非常大的需求,因为在目前情况下很多研究中机器能达到人类的水准,甚至比人类的状态还要好。但是如果遇到一些罕见的情况,它会错得非常离谱。在有些应用中,这种情况是大家十分不愿意看到的。例如无人驾驶,开的好时比一般的司机都要好,但是如果表现不好的话,产生的后果就无法估计了。
虽然现在在技术上可能是百花齐放往外各种辐射,但是在其他方面还是有很多需要做的。
| 在实践中很多深度学习的研究学者都戏称“性能不够,加钱来凑”,怎么看待这种说法?
这种看法其实不是很对——因为增加了层数之后,模型的复杂度更高,可以吃下去更多的数据。但是吃下去之后,模型的性能会不会变好?这个倒不一定。如果本来只需要一百层,你做到一百二十层,其实性能反而会变坏。样本的复杂度和模型的复杂度要恰到好处,过犹不及。
| 在深度学习领域中是否有量化复杂度的方法
在参数和学习理论上来说是可以做到的,但是神经网络的机理存在较多的“trick”。很多人去尝试做,也试出了很多不同的做法。但是做理论分析的门槛非常高,要找到共性的地方,才能做理论分析。现在大家都在盲目去尝试,结果也都还不错,所以相应的理论分析跟不上了。
| 研究成果的应用
计算机科学是应用驱动的研究,可以这样说中国目前几个领先的互联网公司、通讯公司以及一些跨国企业,我们都有合作。通常来说是当他们遇到一些数据分析问题的时候,现有方法无法解决的话,我们提供给一套解决方案。但是从大众的角度来看的话,他还是原本的那些金融公司、防火墙公司、驾驶公司等。
| 目前机器学习领域学术界与产业界的联系
现在产业界与学术界的联系比以前强得多,很重要的一个原因是国内的IT企业发展起来了。可以说十年之前我们做机器学习出来的一些成果已经很有用了,但是产业界当时还没有这个需求。其实产业界对于深度学习方面,可以看成不愁明天的吃喝,是在考虑一个星期之后的问题,这个时候你才用的上这些技术。其实也可以说等经济发展到一定程度,企业也相应发展到一定程度,这些技术可能就比较有用。一旦发现有用之后,就会带动一些行的企业跟进,其实也是一个带动式的过程。
| 用一句话来赞美或者批评机器学习
其实,既不用赞美也不用批评深度学习,这是一个很自然的技术发展过程。机器学习每过五年、十年,就会有一种新的技术在当时变得非常流行。比如说90年代的统计学习,2000年的概率以及2010年的深度学习。我认为目前机器学习领域中最大的问题是基础理论知识没有跟上,更多的人是在做尝试,缺乏比较严格的理论知识。