首页 资讯正文

百度CTO王海峰:预训练大模型成为人工智能新方向

“一别今朝两月秋,重来相见酒频投。不堪回首忆当时,几度春风醉不休。”你可能想不到,这是人工智能创作的诗词。

12月8日,鹏城实验室与百度联合召开发布会,发布了双方共同研发的知识增强千亿大模型——鹏城-百度·文心。上述诗词创作,正是在这一模型中人工智能语言理解和生成能力显著提升的表现。

百度首席技术官、深度学习技术及应用国家工程实验室主任王海峰认为,预训练大模型成为人工智能的新方向,而知识增强大模型能降低AI开发与运用的门槛。

预训练模型成创新发展重要工具

“人类社会已经经历了三次工业革命,现在正在经历第四次工业革命,其中核心的技术之一就是人工智能,而人工智能需要算法、算力和数据的共同支撑。”王海峰说。

王海峰表示,近年来数据越来越多,算法越来越强大,算力也越来越强大。在这种背景下,预训练大模型已成为人工智能的新方向。

据了解,人工智能需要用大量的数据对其进行训练,理论上来讲,投喂数据越多、数据质量越高,模型效果就会越好。而预训练模型,顾名思义就是预先训练好的模型,可以帮助人们降低模型创建和训练的成本。

王海峰称,预训练大模型需要深度学习的算法,也需要大的数据、大的算力,做自监督学习(模型直接从无标签数据中自行学习,无需标注数据),再面向不同的任务、在不同的应用场景里做少量任务数据进行迁移学习,进而应用于很多场景,在各行各业开花结果。

中国工程院院士、鹏城实验室主任高文说:“预训练模型对整个科学的发展、社会的发展、创新的发展来说都是非常重要的工具。运用这个工具,可以帮助做很多人工智能的赋能,不局限于某个领域,这对人工智能的发展都是一个福音。”

知识增强预训练模型降低AI开发应用门槛

人工智能是新一轮科技革命和产业变革的重要驱动力量,它需要在各行各业有很强的通用性,才能成为产业革命的通用力量。随着知识增强大模型出现,开发难度更小,所需要的数据标注量也更小,进而使用门槛更低。

王海峰认为,知识增强大模型能提高人工智能的学习效率,它从大规模知识和海量数据中融合学习,效率更高、效果更好,具有良好的可解释性。

他表示,以金融领域为例,鹏城-百度·文心的合同智能解析能在1分钟内完成对相关合同条款文本的解析识别,速度是之前的几十倍,大幅提高工作效率。

不过目前,对人工智能大模型来说,要解决的问题还很多。由于人工智能应用领域十分广泛,需求呈碎片化,如何解决通用性问题是个挑战。而大模型虽然具备了更强的通用性,但它的训练和推理普遍需要消耗较多资源,往往很难解决应用落地问题。

每日经济新闻

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

本文链接:https://www.chinaai.com/zixun/15526.html

发表评论

评论列表(0人评论 , 11620人围观)
☹还没有评论,来说两句吧...