新闻与活动 首页栏目 首页新闻动态

入职腾讯AI Lab 算法博士崔乐阳的西湖回忆录
我在西湖读博士
沈是 公共事务部 2022年07月22日
媒体联系 张弛邮箱: zhangchi@westlake.edu.cn
电话: +86-(0)571-86886861
公共事务部

【导语】

从腾讯深圳办公大楼42层往下看,车水马龙,纷纷攘攘。与崔乐阳之前的生活环境大相径庭。几个月前,他还顶着不事稼穑的“博士生”头衔,偏安杭州转塘,而今,他已正式迈入职场,成为腾讯AI Lab的研究员。

腾讯AI Lab,这是腾讯内部极少数的“非盈利”部门,由100多位来自世界知名院校的科学家,以及300多位经验丰富的工程师组成,在包括计算机视觉、语音识别、自然语言处理和机器学习等方面开展研究。

崔乐阳的导师张岳,对这个结果挺满意。今年他的三位学生,2个去了腾讯,1个去了清华大学做博士后,对于崔乐阳能够进入顶级大企业的研究部门,张岳还是很高兴。本期“我在西湖读博士”,我们关注的就是这位刚刚毕业的“博士生”,看看过去四年来,这对师徒之间发生了怎样的故事。

师徒合影

01

北纬1°18,新加坡。

这个热带岛国雨水充沛,全年降水量约在2400毫米,是杭州的2倍,北京的4倍。但是,这里极度缺水,因为缺乏独流大河,少有湖泊,地表水快速流向了海洋。

2018年一场例行的阵雨后,崔乐阳走进了张岳的办公室。当时,张岳在新加坡科技与设计大学任教,崔乐阳在新加坡国立大学读硕士。一进门,桌子上散乱着用A4纸打印的论文,雨后阳光的反射下有点晃眼。

崔乐阳在准备升博士的时候,有一天刷知乎,看到张岳准备去西湖大学工作了。在自然语言处理(NLP)领域,他一直有听说张老师,就“鼓起勇气”发了封邮件。

“那你读完博士准备做什么?” 张岳的问题穿过那堆论文来到崔同学面前。

“想去大厂。”崔乐阳的回答很实在。

去哪里工作不是那么重要,重要的是在这个领域有做出改变的想法。张岳说话的时候,特别轻声细语。

这句话让崔乐阳记住了。几个月后,两人离开新加坡,奔赴杭州,一个入职,一个入学,成了师徒。

02

张岳说的这个领域,叫自然语言处理,属于人工智能的重要分支。在今天,人工智能已经可以让自动驾驶上路,人脸识别的准确率达到99.99%。但是,自然语言处理领域被称为人工智能的塔尖明珠,为什么?

1950年图灵在论文《计算机器与智能》提出如何判断机器拥有人类智能,就是让人类和机器进行匿名对话。如果有30%的人类觉得是在和真人聊天,那就算通过了这场测试。

图灵还预测,这一天将在2000年到来。很遗憾,现在都2022年了,图灵测试在业界依然争论不休。

图灵传记电影《模拟游戏》剧照

语言是思维的躯壳,我们的思维、情感、记忆都和语言揉合在一起。相比图像和声音,语言比较难向量化,让机器从事大量机械的学习容易,但涉及到语言背后的创造力,问题就进入了深水区。

就好比新加坡下了一场大雨,机器的算力可以抓到每一滴雨水,但人类的语言就像一条长长的河流,如何让无尽的水滴有生命地流淌起来?

在新加坡读硕士的时候,崔乐阳就做过一个研究,让机器识别人类语言中的讽刺。大致的方法就是从推特抓取带有讽刺标签的文本,然后让机器海量学习。这事儿听起来就有点天马行空,因为现实中,人类自己都很难搞清楚,对方说话有没有在讽刺。

再比如,在语言学中,有一种叫做花园小径的现象:

The old man the boat.

当你阅读到the old man 的时候,你一定会认为是这位老人要如何如何了,但读下去发现句子不对。哦,原来man是动词,是操控的意思,整句话应该理解为老人来开船。

听起来如此浪漫的语言学定义,其实背后正代表了语言的复杂性,人类的理解和思考活动,更像是穿梭在语言的花园内。

后来,崔乐阳在博士期间颇为得意的一篇论文,就是从花园小径出发,研究语言结构的问题。他在算法网络的每一层,都构建了一个词对所有输出标签的概率分布,以此增加算法对句子整体性的把握能力。

03

在自然语言处理领域,崔乐阳很佩服他的导师。

张岳在剑桥读博士阶段,受到人类从左到右阅读习惯的启发,研发出了一套机器学习去引导近似搜索的方法,处理速度比伯克利和斯坦福开发的模型快了15倍以上。在深度学习兴起后,张岳又开发了上述算法的神经网络版本,包括谷歌在内的公司,长时间在使用这些技术。

张岳在研究上总是力图找到关键的突破点。有一段时间,自然语言处理领域只研究各个单独任务,张岳觉得人脑并不是这样的,人会举一反三,触类旁通。受此启发,张岳提出了自然语言处理多个任务联合学习的模型,帮助机器学习算法取长补短,提升性能。

这些故事,给了崔乐阳不小的启发。

师徒两人都是北京人,年龄相差不过十几岁。站在一起合影,两个人笑起来还有那么几分“师生相”。

崔乐阳刚来杭州的时候,写第一篇论文,张岳给他修改,第一天手把手改完第一段,然后对崔乐阳说:

“你按照这个思路,自己去修改第二段。”

第二天,崔乐阳修改完来找导师,然后张岳又一起修改了第二段,然后对崔乐阳说,按照这个思路,继续修改下一段。

这篇论文就是这么一段段改的。当时崔乐阳的写作非常跳跃,没有办法顾及到阅读者的思路。

但这种手把手的教,仅限于细节层面,在思考层面,张岳主张鼓励学生先独立思考,然后再引导。他对学生有一句非常拗口的口头禅:

不愤不启,不悱不发。

这句话出自《论语》。学生需要主动思索,而老师需要在最关键的点上给予启发。

崔乐阳和张岳(右)在博士学位论文答辩会上

张岳在招博士生的时候,也极其看重学生对问题的好奇心。他说,做学术你就是自由的,完全需要兴趣驱动。

而最难的,常常是起步寻找方向那一刻。

有一次,实验室玩桌游阿瓦隆结束后,张岳把崔乐阳和另外一位博士生叫到办公室,开始讲自己对接下来研究方向的思考,一些自己觉得重要但还没有人做的课题, 以及自己设计的算法模型。

两位同学各拿了笔记本,记录了模型的细节。后来,两位同学在一年的时间内,各自完成了相应的工作,都发表在国际顶级会议上。

在学生们第一个项目完成之后,张岳逐渐把具体模型上的指导变成方向上的指引,鼓励同学自己思考,张岳相信学生能够独立发现有价值的方向,并提出合理的解决方案。

这相当于张岳在多年的研究思考基础上,给了博士生一个方向,一个初始速度。然后再慢慢给予方法论上的训练。崔乐阳在“花园小径”上的研究,就是张岳给了非常多的方法启发。 

培养一个博士,有点像培养一个飞行员。飞行总会有不顺利。

崔乐阳有一篇关于常识问题分析的论文屡投不中,整整半年。当时做这个方向的人还比较少,张岳就和他说:被拒绝是挺糟糕的,但很常见,谷歌创始人当年的论文也投不上嘛。这就好比飞机出故障,一位年轻飞行员跳伞弃机了,回来后,老飞行员拍拍他的肩膀,编了个故事:

据统计,王牌飞行员平均会损失11架飞机。

锻炼不被接受的耐性,崔乐阳说这是他博士期间最大的收获。经多多次修改调整后,这篇文章最后还是发表在了EMNLP(国际语言学会下属的SIGDAT小组主办的自然语言处理领域的顶级国际会议)

张岳的b站公开课程

去年开始,张岳在学生们的“怂恿”下,还成了“up主”,实验室团队成员把他100多期的讲课视频免费更新在b站上,张岳给剑桥大学出的自然语言处理教材可能在国内不容易找到,但这些视频完全可以让年轻人自学这们课程,账号的个性签名很调皮:

做人呢,最要紧开心啦。

崔乐阳办公室窗外景色

04

崔乐阳在GitHub主页的头像,是他小时候的一张照片,还是那个笑容。在经历这一栏里,崔乐阳的履历非常清晰漂亮,博士期间,微软亚洲研究院的两次实习,然后在微信实习。

崔乐阳把实习叫做去工业界。左手科研,右手实践,这样的模式下,崔乐阳非常清晰理论研究的应用方向。

这个理念,也是从张岳那边延续下来的。从张岳团队研发出来的自然语言处理的方法,可以结合非常多的领域应用。比如商业财经领域,例如让机器阅读公司财报、新闻、运营数据,从而对公司发展做出预判。再比如自动作文评分,以及帮助用户改写文案。

崔乐阳GitHub主页

张岳团队一直希望把内核的问题想得更深一点。目前的人工智能往往需要大量的学习样本,耗费大量的计算资源,这个听起来就很像“人工的智能”。其实人类乃至生物界的学习不需要那么多样本。

答案可能还在自然界。目前张岳团队和浙江大学附属医院等研究机构合作,探索录制人类脑电信号,启发神经网络研究的自然语言处理算法。

此时的崔乐阳,已经坐在腾讯42层的办公室,开发辅助写作工具。新加坡那次见面,他说要进互联网公司。4年过去了,这个愿望实现了一半。他确实去了高薪的互联网公司,但剩下的一半变了,看上去更有深意——在互联网公司的实验室,同样需要保持对研究的热情。采访结束后,他发来一个他正在参与开发的文本工具。

算法博士:像河流一样说话这句话敲打进去,大概3秒钟之后,纯白色的显示框里,跳出了一句机器写来的后续文案:

因为人类语言的发展历史并不长,而且人类的大脑结构也不是一成不变的。