<dfn id="clvuj"></dfn>

      1. <em id="clvuj"><ol id="clvuj"></ol></em>

          昨日种种已得奖,那深度学习三巨头今天在忙什么?

          脑极体 2019/04/05 03:26

          AI技术 机器学习 深度学习


          上周,AI圈最大的事情,没有之一,就是图灵奖,终于终于,终于颁给了深度学习三巨头。

          关于Geoffrey Hinton和他的两位学生Yoshua Bengio、Yann LeCun的故事,在消息出来后的几天里,理所当然完成了刷屏。

          即使AI从业者和爱好者基本已经对这三位的事迹耳熟能详,但他们“高举着火焰,冲过了最黑暗的时代”的英雄主义情结,还是能够轻易让远离AI世界的人们动容。

          “三巨头”和深度学习的经历,事实上是一幕从学术边缘开始,在产业狂欢中自证,再回头征服主流学术界的故事。起伏线索简直比好莱坞大片还要好莱坞。

          然而现实人生和电影最大?#37027;?#21035;或许在于,电影可以在高潮处戛然而止,留给观众意味深长的壮美。但生活还要继续,日子还得过,AI还得发展。深度学习并不会因为图灵奖的到来而画上圆满的句号。

          如果说三巨头在全世界都不相信深度学习时的执拗,最终换来了图灵奖和一句句“泰斗”?#33041;?#32654;声;那么我们今天更应该留意的,或许是在深度学习如日中天的现在,三巨头又在忙活着什么?他们现在所忙的,是不是又?#25104;?#30528;AI的未来?

          咱们?#29615;?#25442;个角度,不说他们可歌可泣的当年,而是聊聊三巨头的现在。

          需要注意的是,这里并不打算把三人及团队的每一篇论文都整理出来,而是希望从他们在AI爆发之际的选择,读出些许关于深度学习未来走势与先天不足的底层规律。

          Yann LeCun:

          产学候鸟与AI圈鲁迅

          三巨头中最频繁活跃在大众视线里的,是Yann LeCun。

          为什么很多不认识Hinton的人也认识Yann LeCun?这个AI界的未解之谜有很多解释。

          不靠谱的解释包括,Yann LeCun这个名字非常适合写成杨丽坤,所以好记。再比如说他的?#20449;?#24335;笑容很容易让人觉得AI没那么枯燥。

          而靠谱的解释是,Yann LeCun是三人中进入产业世界程度最深的那一位,甚至一度被视作AI科学?#26131;?#21521;商业世界的代表人物。

          2013年,Yann LeCun突然加入Facebook是一件非常有爆炸力的事。大家既不理解Facebook要AI科学家干嘛,也不明白Yann LeCun去一个社交媒体做什么。

          来到Facebook之后,Yann LeCun一手创立了FAIR。这不是个律师事务所,而是Facebook人工智能实验室。

          必须要承?#24076;?#20316;为FAIR一把手的Yann LeCun,在那几年间是有不少作为的。比如大幅度提升了Facebook的自动化运营能力,提高了广告等Facebook生命线的智能化程度。而另一方面,充满理想主义精神和学者气息的Yann LeCun还把FAIR搞成了硅谷最有乌托邦味道的实验室之一。

          在Facebook,FAIR的专家们关注那些天马行空?#37027;?#30651;性技术,以及AI如何在未来造福全人类。在扎克伯格的默许与支持下,FAIR的红火甚至一度被认为是硅谷的工程师文化要向科学家文化交枪。

          此外,Yann LeCun个人魅力也成为Facebook快速招到顶级科学家的利器,5年中,FAIR扩大到6个办公地点,有近100名研究员。与吴恩达、李飞飞并列,Yann LeCun也被称为由学校到企业的三位AI明星之一。

          但随着团队规模的?#27426;?#25193;大,Yann LeCun作为理想派科学家,逐渐暴露出了团队管理能力的不足。加上2017年Facebook风雨飘摇,在整体业务改革之后,业务线开始向FAIR索取更多直接的、有助于提升业务质量或者变现能力的技术——而这并非Yann LeCun所愿与所长。

          始终保留着纽约大学教职的Yann LeCun,在2018年1月宣?#21363;?#21435;了FAIR负责人的职务,转向?#32531;?#25285;?#38382;?#24109;科学家。而这也被外界解读为一个信号:似乎和吴恩达、李飞飞一样,顶级科学家真的不那么容易在大企业高管的位置上长治久安。

          而在产业的探索之外,Yann LeCun的另一个人设,堪称AI圈里的鲁迅——路见不平一声twitter,该骂你时候绝不休息。

          不少人感觉Yann LeCun有点过于“好作惊人语?#20445;?#20294;其实要看到更大的背景在于,今天围绕着深度学习到底是什么,未来会怎么发展,以及AI有没有用等一系列问题,滋生出了无尽的争议。

          而作为AI行内最大的明星之一,Yann LeCun似乎也在某种程度上有义务出来正本清源。

          让咱们回顾一下让Yann LeCun启动开怼模式的三件事:

          1、对著名的人形机器人,全球首位“机器公民“索菲亚。Yann LeCun怒斥其为 “彻头彻尾的骗局”“完全是胡说八道”。在Yann LeCun看来,所谓索菲亚不过是一具放录音的模型而已,对它的“物体崇拜”会让人们觉得AI就是在变戏法。真正的AI想要达?#25509;?#20799;甚至动物的智商,还要走很远的路。

          2、硅谷钢铁侠马斯克,近两年的爱好是到处说AI就要毁灭人类了。Yann LeCun认为这种说法非常不负责任。在他看来,马斯克就是跟一些?#27490;?#27966;的科学家聊天,又回家看了一些想象成分居多的书,?#32531;?#23601;产生了《终结者》马上要实现的想法。加上众所周知马斯克总想拯救人类,最后导致了我们听到的那些声音。而在Yann LeCun看来,科学家是知道那种强AI不太可能在几年内实现的,马斯克的言论是在散布恐慌。

          3、去年,一位计算机视觉专家Filip Piekniewski连续发表了《深度学习已死?#20998;?#31867;的“雄文?#20445;?#39640;唱深度学习泡沫要破。Yann LeCun则马上开启了回怼模式,直言作者“非常无知?#20445;?#25351;出这位作者首先没有看到学术和产业界的现实,其次用一些无关的证据强行证明AI“寒冬来了”的结论。比如作者提到AI药丸,一大证据是AI科学家发twitter少了——气的Yann LeCun赶紧发了一堆twitter。

          总结一下,会发现Yann LeCun开怼的主要是三种声音:假AI、AI威胁论,AI寒冬论。

          其实环顾左右,这三种论调是不是也飘散于我们身边呢?

          Yoshua Bengio:

          保卫象牙塔,镇守加?#20040;?

          说了最高调的,再说说最低调的Yoshua Bengio。

          之所以说他低调,是因为Yoshua Bengio可说是三巨头中最不愿意探索产业世界的一位。他在必然出现的重金诱惑面前,也没有加入那几家我们耳熟能详的科技巨头,而是选择继续留在?#21830;?#21033;尔大学的象牙塔里,享受着加?#20040;?#30340;好山好水。

          然而随着自己发明的深度学习越来越火,Yoshua Bengio发现事情并不简单。科技巨头和投资人开始疯狂向学校抢人。深度学习方向的博士变成了炙手可热的香饽?#27169;?#30452;到Yoshua Bengio发现,他还没毕业的博士都已经被饥渴的科技公司瓜分干净。这位科学家决心要保卫象牙塔的纯净。

          他的办法是,自己开一家公?#23613;?

          咳咳,事实上,Yoshua Bengio是在几?#32531;?#20249;人的劝说下,决定共同建立一个新型的产学一体化机构。我们知道AI界有著名的OpenAI,专注无不商?#30340;?#26631;的开源项目,让科学家能在企业完成自己的梦想。

          而Yoshua Bengio与合伙人联合创立的Element AI,则反其道而行之。它致力于让AI科学家们可以直接参与商业项目,获取相关回报,但同时能够保留教职——比如每周只用抽出几个小时来来Element AI干活,大家一起做做项目赚赚外快就行了。

          这种有点像AI科学家在线兼职的模式,可以有效解决一个问题:创业企业和传统企业,根本无力与科技巨头争抢AI人才,但他们却实打实地需要AI人才来帮忙。这样一种模式可谓两全其美。

          很快,Element AI就获得了微软的投资,现在在深入各行业定制AI解决方案之外,?#37096;加?#22823;公司的联合科研,以及对优质AI项目进?#22411;?#36164;和技术帮助。而对于客户来说,Yoshua Bengio本人就是商业合作上的金?#32456;信啤?

          Yoshua Bengio的另一个工作重?#27169;?#26159;学校里的?#21830;?#21033;尔学习算法研究所(MILA)。MILA和Element AI一学一产,构成了?#21830;?#21033;尔AI产业的双核驱动。今天,加?#20040;驛I的快速发展,以及?#21830;?#21033;尔被称为AI时代的硅谷,?#21152;隮oshua Bengio的工作紧密相关。

          嗯,至少目前来看,这位象牙塔守护者,加?#20040;驛I之星,还是比较好地完成了任务。

          Yoshua Bengio还有一项比较出名的行动,是在AI社会责任与公益领域广泛担当呼吁者。比如他带头反对谷歌的军方项目,呼吁终止AI武器化。并?#19968;?#26497;推动关注AI中的歧视与?#36824;?#24179;问题。

          假如给Yoshua Bengio近年来的工作打上三个标签,那就是:学术的,公益的,加?#20040;?#30340;……

          Geoffrey Hinton:怀疑者,依旧怀疑

          与两位50多岁的学生相比,已经72岁的老师Hinton,似乎应该闲下来,享受“AI教父“的尊名,指导指导学生,筹划一下传记。

          然而事实并非如此,Geoffrey Hinton今天依旧在保持高强度的工作。被腰间盘疾病困扰的他,甚至必须要站着完成所有研究。与两位学生和大部分功成名就的同行相比,Hinton更像是工作在AI一线的那一个。

          简单来说,那个又倔又横的小伙子,如今变成了个又倔又横的老头。

          曾经在一?#23614;?#35775;中,Geoffrey Hinton被问到为什么能在几十年的不被重视中坚持下来,他的回答非常酷也非常Hinton。他说:

          “他们?#21363;?#20102;。”

          直到今天,Hinton还是认为有可能所有人?#21363;?#20102;,包括他自己。

          1986年,Hinton发表了《Learning representations by back-propagation errors》,这是Hinton一生的代表作之一,标志着反向传播算法被引进深度学习,今天来看有着跨时代的意义。

          然而Hinton在近两年却频频表示,反向传播有可能存在这巨大的?#27605;蕁?#20182;不但自己尝试了多种方式突破它,还将大量相关研究综合起来,写论文对比如何摆脱反向传播的窠臼——直到现在,他还没有超越自己,但并不代表以后不能。

          Geoffrey Hinton是一个彻头彻尾的怀疑者,这点并没有因为他变成“泰斗”而改变。

          在产业世界,Hinton的主要工作在谷歌大脑。近两年,TensorFlow的简化升级,谷歌大脑的AI能力拓展,背后都有Hinton与团队的身影。

          而作为“教父”一样的存在,Hinton更被人关注的是在AI学术领域?#27426;?#25552;出的颠覆性观点。恰好这又是一个乐于颠覆自己和其他人工作的人。

          2017年年底,Hinton发表了名为胶囊网络Capsule Networks的方?#31119;?#34987;广泛认为将改写深度学习的发展轨迹。

          胶囊网络所针对的,是卷积神经网络的操作模式。传统的深度学习算法中,每一层神经网络必须做同样的卷积运算。而胶囊网络则认为,不同的神经元可以携带不同属性,这就像人脑中的不同区域负责不同的工作。

          这种将深度学习进行稀疏激活的颠覆式方?#31119;?#30446;前已经被证明可以在图像识别领域达成创新。不少人相信,胶囊网络未来会成为AI可解释、AI被赋予常识的关键技术。

          近几年,Hinton带来的另一个颠覆,是在暗知识提取dark knowledge extraction领域不间断的工作。一般来说,深度学习获取抽象特征,是建立在庞大的数据运算基础上的。而这会导致AI必须消耗大量的数据和算力来反复完成训练。而暗知识提取,或者叫知识蒸馏,则致力于让智能体之间可以提取隐藏的知识,把一部?#31181;?#35782;留存到子深度学习系统,最终达成智能体摆脱庞大的算力与数据?#26159;螅?#35302;及相对先天的“智能”。

          可以看到,Hinton在今天依旧那么硬核。很多在AI世界?#27492;?#24120;识的东西,AI之父却压根不相信它,并且在反复挑战。

          AI走到头了吗?深度学习是最终解法吗?这老头一辈子从来没相信过大多数人的判断。

          三巨头的今天:深度学习,从1到很多

          假如说,三巨头高举火把,四下无人的那些年,是深度学习从0到1的时代。

          那么今天全世界的深度学习热, 毫无疑问标志着深度学习开始从1到N。然而从三巨头今天的工作来看,它也仅仅才到1而已。

          不知道大家注意到没有,三巨头今天主要关注的方向,恰恰对应着以深度学习为代表的这一次AI复兴,所携带的先天不足,以及后天激发的问题。把三巨头的工作强行合并,可以看到这样几个方向:

          1、AI到底是空谈还是事实?解决这个问题,必须把深度学习扔到产业熔炉当中,在算力、数据和应用场景里,检验深度学习到底能干什么。而这也是大量AI科学家必须去企业的逻辑之一。

          2、AI火了之后,各种?#31227;?#20843;糟的事情一定会出来飞舞,需要有人把火?#36947;?#22238;轨道。Yann LeCun在社交媒体上四面开火就是因为这个。索菲亚的把戏、马斯克的AI威胁论,以及“AI寒冬又来了?#20445;?#36825;几个说法今天在中国一定有大批拥护者。不难看出问题还是挺尖锐的。

          3、AI的人?#29260;?#37197;与平衡问题。这轮AI复兴的一个特征,是高度的产学一体化,导致学术人才可以直接与应?#20040;?#36890;。然而学术人才如何在产业诱惑面前保持学术追求,产业如何在巨头争抢下获得AI人才帮助,这个问题在中国同样存在。

          4、深度学习是把双刃剑,军事化、歧视与?#36824;?#22240;素安全等问题随之产生。AI的社会责任,是一个刻不容缓的矛盾。

          5、深度学习,不是终点。反向传播,多层神经网络等等技术模式构成了我们习以为常的那个“AI”。但是深度学习依旧有大量问题存在,比如黑箱性,迁移能力差,高消耗等?#21462;?#25105;们是把今天的AI当成原教?#36857;?#36824;是继续挑战,寻找更上层的终点?这点Hinton这位“深度学习之父”真是带了个好头。

          功绩当然伟大,问题还有一?#36873;?#20170;天,三巨头还在工作,他们在为他们?#33041;?#29289;负责。


          本文来自新知号自媒体,不代表商业新知观点和立场。

          若有侵权?#21491;桑?#35831;联系商业新知?#25945;?#31649;理员。
          联系方式:[email protected]

          脑极体
          收藏 | 微信分享 微博分享 QQ分享 | 返回顶部
          河北11选5走势图基本
          <dfn id="clvuj"></dfn>

            1. <em id="clvuj"><ol id="clvuj"></ol></em>

                <dfn id="clvuj"></dfn>

                  1. <em id="clvuj"><ol id="clvuj"></ol></em>