顶级AI华人学者朱松纯确认入职清华，回国筹建通用人工智能研究院

近日，根据网络流出的一份清华大学拟聘新进校人员公示名单，加州大学洛杉矶分校（UCLA）统计学与计算机科学教授，UCLA 计算机视觉、认知、学习与自主机器人中心主任朱松纯拟加入清华大学自动化任职教授。与此同时，他还将与清华、北大共同筹建「北京通用人工智能研究院」，并出任院长。

朱松纯是计算机视觉领域的顶级学者，他的回国，将为国内人工智能的发展带来强劲动力。

一、个人简介

朱松纯（Song-Chun Zhu），湖北鄂州人，全球著名计算机视觉专家、统计与应用数学家、人工智能专家。曾任美国加州大学洛杉矶分校（UCLA）统计学系与计算机系教授，UCLA 计算机视觉、认知、学习与自主机器人中心（Center for Vision, Cognition, Learning and Autonomy，VCLA）主任。研究范围涵盖计算机视觉、统计建模与计算、认知科学、机器学习、自主机器人等领域。

朱松纯于 1996 年获哈佛大学计算机博士学位，师从国际数学大师大卫·曼福德教授，在国际顶级期刊和会议上发表论文 300 余篇，并三次问鼎计算机视觉领域国际最高奖项——马尔奖。在认知科学领域，如视觉常识推理、场景理解等领域做出重要贡献。朱松纯在 1990 年代率先将概率统计建模与随机计算方法引入计算机视觉研究，提出了一系列图像与视频的结构化解译的框架、数理模型和统计算法，发展了广义模式理论 [General Pattern Theory]。

二、工作经历

朱松纯于 2002 年加入加州大学洛杉矶分校统计系与计算机科学系，担任副教授，并于 2006 年晋升为正教授。朱松纯组建了 UCLA 视觉、认知、学习和自主中心，并领导了美国多个大型跨学科 AI 项目。他长期致力于构建计算机视觉、认知科学、乃至人工智能科学的统一数理框架，其中包括作为统一表示形式的时空、时间和因果图（STC-AOG）以及用于推理和学习的众多蒙特卡洛方法 。

2005 年，朱松纯联合沈向洋 [Harry Shum] 等多位知名科学家在中国湖北省鄂州市创建民办、非营利性国际交流平台——莲花山研究院，并任院长。研究院的一个先期项目是收集大量的图像，手工标注图像中的场景、物体和部件、关系、功能等，至 2010 年已积累超过 50 万张图像数据，是发展计算机视觉的物体识别和图像解译任务的先行者。

朱松纯组织过多场学术研讨会及会议。在 2012 年罗德岛普罗维登斯举行的计算机视觉与模式识别（CVPR）会议上，朱松纯作为大会主席向 Ulf Grenander 颁发了先锋勋章（Pioneer Medal）。2019 年 CVPR 在美国加州长滩举行，朱松纯再次担任大会主席。

2017 年 7 月，朱松纯在美国洛杉矶创立暗物智能科技 DMAI，致力于打造基于强认知 AI 的技术平台。

三、学术成果

朱松纯已在国际顶级期刊和会议上发表论文 300 余篇，其研究成果集中在以下四个时期和领域：

1、视觉的统计建模与计算理论 —— 为马尔的视觉理论建立统一的数理模型

1995-2005 年期间，朱松纯教授与导师曼福德、UCLA 同事以及博士生，为计算视觉创始人马尔提出的早期视觉 [early vision] 概念， 包括纹理 [texture]、图像基元 [Texton] 以及原始简约图 [primal sketch] 等建立了一个统一的数理模型；提出统计建模的最小最大熵原理 [minimax entropy principle]；将神经学和心理学的发现，植入统计物理的吉布斯模型 [Gibbs Model]， 从而导出一类新型的马尔科夫随机场的概率模型 [FRAME]，并将该模型扩展到中层视觉模型，描述形状与格式塔 [Gestalt] 组成原则；发现自然图像的尺度不变与尺度变化的统计规则，将各种视觉模式及其对应的数理模型映射到一个连续的熵频谱 [entropy spectrum] 和信息尺度 [information scaling]；进一步研究了各种模型之间跳转和感知转化 [perceptual transition] 的机制，与博士生王亦洲 [现为北大教授] 导出感知尺度空间理论 [perceptual scale space]。

在 1990 年代，朱松纯发展了两类新的非线性偏微分方程（PDE）。一类用于图像分割，将 PDE 连接到统计图像模型的这项工作在 ICCV 2013 上获得了赫尔姆霍茨奖。另一类称为 GRADE（Gibbs Reaction and Diffusion Equations，吉布斯反应和扩散方程）于 1997 年发表，并在计算机视觉领域首次采用 Langevin 动力学方法进行推理和学习随机梯度下降。（Stochastic gradient descent，SGD）。

2、实现图像与场景的解译（parsing）计算框架 —— 扩展了模式识别创始人傅京孙先生的句法模式识别理论

1999-2010 年期间，朱松纯与其首位博士生屠卓文 [现为 UCSD 教授] 提出用数据驱动的蒙特卡洛马尔可夫链方法[Data-Driven Markov Chain Monte Carlo]求图像分割和解译 [Image Parsing] 问题的全局最优解；与其博士生 Adrian Barbu [现为FSU教授] 提出了 Swendsen-Wang Cut [SWC] 的蒙特卡洛算法，在通用的概率采样 [sampling] 计算中，实现大的状态跳转，突破传统方法计算的瓶颈问题。

该领域的这一进步使拆分合并运算符在文献中首次可逆，并且比吉布斯采样器和跳跃扩散方法快了 100 倍。这一工作获得第九届国际视觉大会颁发的马尔奖， 并重新激起了同行对于图像解译工作的兴趣。

2006-2015 年间，朱松纯教授提出了概率随机的与或图 [and-or graph] 模型来表达上下文相关图语法 [graph grammar]，重启了模式识别领域创始人傅京孙先生倡导的句法模式识别框架；提出时空因果与或图 [Spatial，Temporal，Causal And-or graph STC-AOG] 为物体、场景、事件和因果关系建立统一的模型，并用于场景与事件的解译任务。

3、提出人工智能的「暗物质」—— 研究视觉与认知的物理与社会常识

自 2010 年以来，朱松纯将计算机视觉与认知科学、自然语言理解、机器人等学科结合，探索他所称的「人工智能的暗物质」——占 95％ 的、无法通过感知输入观测到的智能。

视觉与认知科学的结合：实现物理常识的推理 ，比如物体和场景的物理属性、使用功能、行为的因果率；和社会常识的推理，比如人的意图、动机、目的。由此丰富了对场景和事件的理解的内涵。

视觉与自然语言理解的结合：通过人机情景对话来获取常识，并于 2010 年率先从图像和视频的解译图中自动产生文本描述的 I2T 【Image Parsing to Text Generation] 方法。

视觉与机器人结合：提出来自主机器人与人类深度协作的认知构架 [cognitive architecture] 和通讯协议，以到共境【shared situation】、共识【shared model】、共行【shared plan】、和共同价值观【shared value】。

4、探索迈向通用人工智能的新的研究路径 ——「小数据、大任务」范式

朱松纯在 2017 年发表了一篇广为流传的文章 《浅谈人工智能：现状、任务、构架与统一》。在文中，朱松纯将行业中流行的数据驱动型深度学习研究称为「大数据、小任务」范式。该范式使用大量标注的数据为每个特定任务训练神经网络，导致 AI 模型无法解释、应用范围狭窄等问题。与之相反，朱松纯提出了「小数据、大任务”的范式，主张以此来实现通用人工智能。

朱松纯团队构建了一个大规模、物理逼真的 VR / AR 环境，用于训练和测试负责执行大量日常任务的自主 AI 智能体。这些智能体整合视觉，语言，认知，机器学习和机器人技术等领域的能力，在此过程中发展物理常识和社会常识，并使用认知架构与人类进行交流。

四、学术职务

2015-2020 年，第二次担任美国视觉、认知科学、AI 领域跨学科合作项目 MURI 首席科学家[Principal Investigator]；

2016 年，再次当选国际计算机视觉与模式识别大会[CVPR]2019 年度主席；

2011-2013 年，担任国际模式识别协会 Aggarwal 奖评选委员会主席；

2012 年，担任电气和电子工程师学会[IEEE]计算机学会会士[fellow]评选委员会副主席；

2012 年，担任国际计算机视觉与模式识别大会 [CVPR] 主席；

2011 年，电气和电子工程师学会[IEEE]计算机学会会士 fellow；

2010-2015 年，首次担任美国视觉、认知科学、AI 领域跨学科合作项目 MURI 首席科学家；

2005 年，与沈向洋等创建民办、非营利性国际交流平台湖北莲花山研究院，并任院长。

五、奖项荣誉

2017 年，计算建模奖 [Computational Modeling Prize]，国际认知科学学会 [Cognitive Science Society]

2013 年，赫尔姆霍茨奖 [Helmholtz Test-of-Time Award]，第 14 届国际计算机视觉大会颁发

2008 年，第二届 J.K.Aggarwal 奖，国际模式识别协会

2007 年，马尔奖荣誉提名，第 11 届国际计算机视觉大会

2003 年，马尔奖，第九届国际计算机视觉大会

2001 年，Sloan fellow， Sloan 基金

2001 年，青年教授奖励基金 [Career Award]，美国国家科学基金委员会

2001 年，杰出青年科学家奖 [ONR Young Investigator Award]，美国海军研究所颁发

1999 年，马尔奖 [Marr Prize] 荣誉提名，第 7 届国际计算机视觉大会颁发

1995 年，哈佛大学工程领域 Ali Jury 奖

1992 年，哈佛大学研究生院奖学金

六、回国任职

到 2020 年，清华大学自动化系已建系 50 年。

自动化系的一级学科为「控制科学与工程」，1998 年，自动化系获国家首批一级学科博士学位授予权，2007 年被评为国家首批一级重点学科，学科综合实力强、交叉创新多、发展前景广。在 2016 年全国一级学科评估中， 「控制科学与工程」学科被评为A+全国最高水准。

自动化系拥有高水平的师资力量，截止2020年，自动化系现有教师 89 人，其中教授、研究员 40 人，副教授、副研究员 40 人，助理教授、助理研究员 9 人。中国科学院院士 2 人，中国工程院院士 2 人，国家教学名师获得者 2 人，教育部长江特聘教授 3 人，国家杰出青年基金获得者 12 人，国家优秀青年基金获得者 12 人。戴琼海、张长水、鲁继文、黄高等大牛均属清华自动化系。

朱松纯的加盟，又给清华自动化系添加一员大将。

此外，朱松纯教授此次以「国家战略科学家」身份回国，还将受邀与清华、北大共建民办非盈利机构，北京通用人工智能研究院，并出任院长一职。

该研究院将聚焦人工智能前沿技术，致力培养人工智能领域的跨学科、原创型人工智能人才，同时打造新一代通用人工智能平台。构建一个通用型的强人工智能，也是朱松纯一直在追求的。

七、学术人生

熟悉朱松纯教授的人，对他严谨的治学精神，也从不吝惜赞美之词。

曾经在朱松纯 UCLA 的 VCLA 实验室访学一年多的微软亚洲研究院视觉组研究员代季峰，这样评价朱松纯教授「朱松纯老师对视觉领域大方向有着一流的直觉，对数学（尤其概率统计）一丝不苟，善于拿大资金。他对学生是刀子嘴豆腐心，实验室里的学生私下都叫他老朱。」

对视觉领域大方向有着一流的直觉

朱松纯教授的实验里学生人数较多，自然要用雄厚的funding资金来支撑。朱教授在最近几年应该都是美国大学视觉界里funding最多的教授（不知道是不是要加个「之一」）。

从 2011 年起，朱老师的实验室，作为 PI 拿到的资助超过 4000 万美元，其主要原因就是其「研究思维超前」。

能够拿到这些大 funding，意味着朱教授对这个领域的大方向「有着一流的直觉以及领先和准确的把握」。

而朱教授这种的「第六感」在多年前就已经有所体现。

2012 年，朱松纯教授主持的一个 MURI 大项目在 UCLA 开会，他上台讲了一通「vision meets language」，说视觉和语言的结合会是一个重要的问题，比如看到一整个图片，系统应该输出一段话描述它，比如看到一个 bounding box 区域，要描述这里面发生了什么，这个用一个 hierarchical 的 And-Or graph 该如何实现。

当时很多视觉领域的大佬都觉得有些天方夜谭。没想到过一两年，这就是红极一时的 VQA 任务，不过是用神经网络实现的。

「能够提前感知到未来的大方向」，这是顶级的 research 感觉，这也是朱松纯教授最厉害的地方。

朱松纯教授提的大方向，虽然有错的，但是正确的概率已经是很高了。

对数学（尤其是统计）一丝不苟

跟朱教授讨论的时候，最经常被 challenge 的就是「这个算法不对，数学上是错的，这个 CV 领域最近火的技术在统计上是不对的」

对大部分研究者来说，概率模型流行就用概率模型，SVM 流行就用 SVM，神经网络流行就用神经网络。

而朱松纯教授是有信仰的，那就是他的「概率模型」，曾经在 SVM 之前引领了视觉领域的潮流。那是他们自己的东西，所以不像其他人那样可以轻易舍弃。

朱教授曾经说过「做 research 像下围棋，不能东下一颗西下一颗，地盘全被别人占了」。

对学生刀子嘴豆腐心

这是朱教授受到的争议最大的地方。

刚去他实验室的时候，会很不适应他的批评，但你慢慢了解他，就好了。

他对学生的长远发展和重要利益，是非常好的；虽然批评时很难受，但过后他不记仇；还有同实验室吴教授的平衡和调和。

其实学术圈的老板，脾气大一些、对学生push的非常多，算是 research 人的通病吧。

但最后找工作什么的关键时刻，他和同实验室的吴教授都是非常 supportive，有人情味的。

朱松纯教授的女儿在年满 18 岁之际放弃了美国国籍加入中国国籍，也许从那时起，朱松纯教授的回国计划就已经提上了日程。

朱松纯这次回国，将为国内人工智能尤其是通用人工智能的发展，带来强劲动力。他也离「人工智能大一统理论」的梦想上更近了一步。

作者简介： 武 ********* 识教育科技有限公司专注于人工智能、机器人工程、智能制造、云计算、大数据、区块链、信息安全、互联网营销、健康护理等多领域、多层次「新工科」「新职业」人才培养与输送。公司立足湖北科教大省，辐射全国，提供专业共建、师资培训、联合实验室、科研项目合作、实习实训就业、职业技能培训等整体解决方案。同时与诸多产业领军企业建立战略合作关系，融合产业先进技术，为金融、医疗、教育、安防、交通、零售、制造、农业等行业用户，提供多维解决方案。在全国众多院校、企业、研究机构、投资界等多方合作发展中发挥纽带作用，为推动相关领域人才培养和产业发展贡献力量。