新闻与活动 西湖新闻 大学新闻

录取率4.2% | 人工智能背后的年轻大脑在思考什么
大学新闻
西湖大学工学院 2024年08月28日
媒体联系 张弛邮箱: media@westlake.edu.cn
电话: +86-(0)571-86886861
公共事务部

AI正在改变我们的生活,而这群年轻人试图改变AI。

2024年7月28日至8月11日,50位从全球1200余位报名者中脱颖而出的学员在西湖大学云谷校区集结。

一众顶尖学者授课,录取率仅为4.2%,这场人工智能暑期公开课之旅果然没那么简单:除了聆听AI领域大咖学者们讲授的前沿课程,学员们还需要分为10组,在短短14天内,每组合作完成一个小组项目。


小组讨论


或探索基于多模态大语言模型的智能体在各个领域中的应用潜力,或用生成式AI技术这支强大的“画笔”,创作属于他们的“画卷”——在学员们最终交出的“答卷”中,他们不仅仅在探究如何让人工智能更变得强大,也已经开始进一步思考如何将人工智能更有意义地融入人类生活,为社会带来福祉和进步。


有的项目希望改善人类健康和心理福祉。比如,通过姿态估计改善日常行为健康、开发多模态医疗诊断助手来支持医生和患者,以及为嗜睡症患者及其家庭提供支持。


另外一些项目则旨在通过创造性和娱乐性手段提升人们的生活质量。例如,幽默对联生成器能够为用户定制有趣的对联,AI驱动的游戏艺术创作平台希望更多人能够参与创作和表达自我。


还有的项目致力于通过AI技术,增强人与机器的互动。数字人项目使用户与特定的人进行面对面交流成为可能;个性化推荐系统则通过学习多模态信息,为用户提供更加精准和个性化的建议。


关注自动化与效率提升,小组成员们普遍采用了大语言模型和多智能体框架来自动化复杂任务。例如,邮件处理助手可以自动分类和提取关键信息,节省用户时间和精力;增强扩散模型项目则利用大语言模型提高图像生成的准确性和质量,提升AI技术的实际应用效果……


人类“大脑”与人工智能“大脑”过招的两周,他们都经历了些什么?


我们一起去看看。


轨迹

开营第一天,学术环E10-205教室里坐得满满当当。最后一排紧挨后门,还站着许多慕名而来的学生。

他们是来听谁讲课的?

讲台上站着的老师是Josef Kittler,英国萨里大学计算机与电子工程学院杰出教授,英国皇家工程院院士。对于在场的学生来说,他还是经典著作《模式识别:一种统计学方法》的作者之一。“教科书”的作者,此刻就站在你对面,这种神奇的体验发生在西湖大学人工智能暑期公开课的课堂上。

但在Josef Kittler眼里,一定还有另一种视角。台下,许多年轻稚嫩的面孔,或许都是初见,但唯独有一个人是久别重逢。

30年前,英国萨里大学,学生李子青师从Josef Kittler教授。30年后,西湖大学讲席教授李子青为老师的公开课做开场介绍。

两位教授的学术轨迹在西湖交织,也为这个夏天一系列关于相遇的故事,写下了一个奇妙的开头。

Josef Kittler(左)与李子青(右)在课间交流

林春博,西湖大学仇旻老师实验室2025级的直博生,主要研究方向是微纳光电子学。听说在人工智能暑期公开课能学到许多AI前沿知识,他十分好奇,于是决定来当志愿者,顺便“蹭课”。

命运的齿轮就此转动。Catherine Ellen Wang和Melody Law都来自加利福尼亚大学伯克利分校,趁着暑假,来到中国学习。估计连她们自己都没想到,在杭州还能遇见校友。

今年下半年,林春博正好也要去伯克利访问。于是,几位小伙伴约定,下一次在美国见面。

美国,中国杭州,美国。交织着的求学轨迹,冥冥之中似乎有根线牵引着他们,但被连接在一起的,又远不止他们。

3组正在绘制小组海报

8月,郑冶枫与相处了6年的“老东家”腾讯匆匆道别,在7月的最后一天,48岁的他第一次以大学教授的身份,站在了人工智能暑期公开课的讲台上,授课主题是“以人工智能革新医疗”

教室里,生物医学、智能生物工程、经济学等专业的本科生们,抱着对AI交叉领域的好奇心加入课程。学生们对知识的渴望,帮助郑冶枫完成了一次华丽的“身份转变”。

郑冶枫(左二)在课后与同学们交流


穿越时空,遇见你

同样完成“身份转变”的,还有前两个月新入职的工学院PI张驰和王欢。这一次,他们是公开课期间小组展示项目的策划者。

两个项目提案均围绕生成式AI展开。在过去两年中,以ChatGPT为代表的大语言模型引发了全球范围的轰动。这些模型不仅能够进行日常对话,还展示出了强大的感知、推理和决策能力。

如果将大语言模型比作一个强大的大脑,而基于多模态大语言模型的智能体则赋予了这个大脑行动的能力,使其能够像人类一样处理复杂任务

两位老师希望引导同学们结合课上所学和自主探索,让学生动手做一个项目,可以是AI医生小助手,或简单的推理模型,亦或是AI生成文字、音视频等等。

设计项目的时候,两位老师大概也没想到,因为一起做小组项目,参与其中的人都有幸遇见了更多。


小组项目展示前一天,张驰(左图右一)和王欢(右图左二)与同学们讨论小组项目

来自麻省理工学院的George Cheng虽然在美国出生长大,但祖籍是浙江桐乡。从桐乡来杭州参加公开课的路上,George和爸爸有过一段动人的交谈。George的爸爸说: “祖父去世后,一直希望可以再和他说说话。在想他的时候,如果AI能够用祖父的语气和说话方式给予回应就好了。”


于是,一个想法在George的心里萌生了——帮助爸爸完成心愿。


然而,George并不知道该从何下手。直到小组讨论时,George把这个想法讲给了1组的组员。


几个灯火通明的深夜过后,那个让1组拿下Best Project Award的项目“Forever”逐渐有了雏形。考虑到项目展示的效果,家喻户晓的名人更能验证模型对人物的还原度,在展示汇报时,1组选择了袁隆平的声音。


8月9日下午,在学术环E10-205教室,50位学员和老师们一起,穿越时空,遇见了袁隆平。


“袁爷爷你好,我们是西湖大学AI暑期公开课的学生们。”


“西湖大学的同学们,你们好!”


1组合力实现了voice-text-text-voice的过程,其中在声音的还原、大语言模型等环节中,加入了团队的巧思,以便更全面立体地“复活”已经逝去的人。


1组成员合影


在这里相遇,未来是否会不同?


其实,George Cheng是一名生物专业的学生。在来到AI暑期学校之前,他从来没有真正接触过人工智能。


整个夏天,George都想看看生物学和计算机科学之间的交集。于是,不仅仅在AI暑期公开课上,在西湖大学生命科学学院暑期夏校,西湖大学交叉科学中心主办的“小石子生物聚变暑期学校”的课堂上,都能见到他穿梭其中的身影。


AI与不同学科的交叉相遇,每天都在西湖大学的学术环上演。


伦敦大学学院程涛教授和同学们探讨了时空人工智能在智慧城市中的应用。比如,通过 AI 技术结合数据,可以判断可能在欧洲的某些港口是否有非法移民的船只;李子青教授、吴泰霖教授带领同学们体会到了AI与生命科学结合的可能;张峥教授讲授了AI在科学研究中的跨学科应用;何瑜岚教授深入探讨了基于大型语言模型的机器阅读理解;Marios M. Polycarpou教授则介绍了AI中优化方法的应用,结合实际案例展示其在监控与控制网络安全系统中的价值……


Josef Kittler教授觉得,不同教授们对AI领域会有不同的看法,这些碰撞会帮助学生去定义新的方向



人工智能暑期公开课课堂


学生们逐渐体会到,未来前进的方向并不是狭窄的,他们产生了看待事物的不同方式。


6组组长邹昕恺来自同济大学,他们的组名叫做“Blank”。两周期间,他正在不断填补那个最初的“空白”。


打动他的,是许多授课嘉宾和西湖PI老师们做研究“初心”。他发现,能够发现和定义清楚科研问题是一件特别重要,也特别棒的事。


邹昕恺也开始慢慢学会思考,我为什么要设计这个实验?这样做了,然后呢?


邹昕恺介绍“Blank”小组

在西湖,邹昕恺决定跳出自己的舒适圈。他想,既然组里有生物背景的同学,也有计算机专业的同学,为什么不碰撞出一点不一样的东西呢?于是,他们准备做一个名叫“Mental Mate”的项目——既可以辅助医生诊断患者的心理疾病,同时又可以给患者选择合适的方式进行心理疗愈——希望这个工具能够帮助有心理压力的学生迈出第一步。


以前,我对于科研的观念可能是有些狭隘的,有时候出发点不是自己真正想去做什么。但是在西湖,我看到许多实验室做的那些出色的、具有创新性的工作,感受到这里的科研工作是这么纯粹。现在,我确实在想,或许,今后也我可以把科研当作人生中的一条路径去选择。”邹昕恺说。



夏夜晚风


8组的刘致依目前在复旦大学读大四。凌晨12点半,结束小组项目讨论的刘致依和刚一位在西湖认识的工学院博士生一起散步,走到了西湖大学新建成的本科生书院。


在夏夜晚风中,他们偶遇了一位刚刚从实验室回到书院的西湖大二年级本科生。


“我给你们介绍一下吧!这里是新建成的本科生书院。书院刚开始建的时候,我就看到了图纸,现在建成的效果和图纸上几乎是一模一样。”那位本科生说。


刘致依把这段对话定义为在西湖记忆最深刻的场景: “我会觉得,怎么有这么有生命力的一位小朋友,眼里带着光,一直在探索,一直在学习。可能就是因为他在一个特别好的环境里成长。那位本科生还说,他觉得,西湖大学给他承诺的东西都会实现的。


伴着夜色,西湖校园里点点灯光,明明暗暗。一起遇见新建成的本科生书院的几个人,在这里留下了属于他们的独家记忆。


刘致依(左图前排左一)和她的朋友们

许多故事都在夜晚发生。甚至,4组的组名就叫做“4tnight”,组名英文发音的意思是——


为了今晚”。


完成项目当然少不了挑灯夜战。学术环,超市,餐厅,咖啡吧……他们关于项目的探讨,几乎遍及云谷校区的每一个角落。


在结营仪式的小组汇报展示中,4组第一顺位汇报。他们自信地介绍了他们关于AI与中国传统文化相遇的有趣项目——用AI生成对联,兼顾平仄、押韵、对仗工整


山东大学的黄烁今说,这个项目是他们两周里共同努力的见证。如果不是因为人工智能暑期公开课,4组的6位同学可能没有机会相识,一起在西湖来一场为期两周的深度游。


在那张关于遇见彼此的画布上,这个二十一岁的夏天,将成为他们青春记忆中不可磨灭的一部分。


“4tnight”小组成员合影


“The experience of working on the two-week project with my group was the most ephemeral yet fruitful part of it all, leading to the culmination of our synergistic efforts on this passion project and leaving us with memories and friendship that will extend much further past this fortnight and forever epitomizing this summer in the canvas of our collective experience.”——Catherine Ellen Wang


那么,后来呢?


课程结束后,没有立刻回到美国的Catherine和来自重庆大学的4组组长陈亦楠在此在四川再次相遇,一起品尝了地道的重庆火锅。


何瑜岚教授在暑期课程间隙参与了工学院张岳老师的组会。她觉得张岳老师组的研究方向和自己做得很不一样,非常有意思,他们开始讨论下一步合作的可能。


刘致依不仅在西湖结识了很好的朋友,而且,她觉得,来西湖后自己似乎更有勇气去提出质疑了。她也有了更多思考:“我好像从自己给自己设定的那个框架里跳出来了一些。”


我觉得我填上那个空白了,”邹昕恺说。在西湖结束两周的学习后,邹昕恺没有给自己放暑假。他紧接着回到了同济大学,开始更自信地投入到属于他自己的项目之中。


回到中国科学技术大学的1组成员陈卓,还是经常想起她和组员们在西湖一起度过的时光:


“最难忘的时刻,是我和队友们在为了项目熬夜讨论后,一起在校园里散步去24小时便利店买冰淇淋。一晚上的工作后,大家却并不感觉很疲惫,在夏日晚风中说说笑笑,说不出的轻松与快乐。当我们一起挖下冰激凌的第一勺时——只觉得,此时此刻,在Westlake,真好。”




尾声


“你叫什么名字?”


8月9日,西湖大学人工智能暑期公开课结营仪式上,评委席中的其中一位老师,西湖大学齐国君教授向讲台上正在汇报展示的同学提问。 


“我叫王杰。”


此时,王杰刚刚和3组的同学一起完成小组项目展示。他们将生成式AI模型融入产品中,设计并研究了一个基于MinCPM-Llama3-V端侧大模型的个性化推荐系统,它能够根据个人情境提供智能协助


汇报结束后,经过进一步沟通,齐国君老师邀请王杰到他的课题组做访问学生。


8月19日,王杰以齐国君课题组访问学生的身份再次回到了西湖大学。这次,王杰将与齐老师课题组合作,继续推进这个诞生于人工智能暑期公开课的小组项目,争取赶上今年9月国际计算语言学会议(COLING)的投稿。


两周的旅程结束,但那些在西湖开篇的故事,或许还会因为他们在未来与彼此相遇,再一起与人工智能交手,继续打破时间或空间的限制,写下更多充满可能的续篇。


故事,仍然未完待续。