问答ChatGPT之后:超大预训练模型的机遇和挑战

超大预训练模型(Pre-trained model, PTM)是人工智能领域近年来迅速崛起的研究方向, 在自然语言处理(Natural language processing, NLP)和计算机视觉等多种任务中达到了有史以来的最佳性能, 促进了人工智能生成内容(Artificial intelligence-generated content, AIGC)的发展和落地. ChatGPT作为当下最火热的PTM, 更是以优异的表现获得各界的广泛关注. 本文围绕ChatGPT展开. 首先概括PTM的基本思想并对其发展历程进行梳理; 接着, 详细探讨ChatGPT的技术细节, 并以平行智能的视角阐述C...

Full description

Saved in:
Bibliographic Details
Published in自动化学报 Vol. 49; no. 4; pp. 705 - 717
Main Authors 卢经纬, 郭超, 戴星原, 缪青海, 王兴霞, 杨静, 王飞跃
Format Journal Article
LanguageChinese
Published 中国科学院自动化研究所复杂系统管理与控制国家重点实验室 北京 100190 01.04.2023
中国科学院大学人工智能学院 北京 100049
青岛智能产业技术研究院 青岛 266114%中国科学院自动化研究所复杂系统管理与控制国家重点实验室 北京 100190%中国科学院大学人工智能学院 北京 100049%中国科学院自动化研究所复杂系统管理与控制国家重点实验室 北京 100190
Subjects
Transformer
预训练模型
社会化大闭环
ChatGPT
人工智能生成内容
平行智能
Online AccessGet full text
ISSN0254-4156
DOI10.16383/j.aas.c230107

Cover

More Information
Summary:超大预训练模型(Pre-trained model, PTM)是人工智能领域近年来迅速崛起的研究方向, 在自然语言处理(Natural language processing, NLP)和计算机视觉等多种任务中达到了有史以来的最佳性能, 促进了人工智能生成内容(Artificial intelligence-generated content, AIGC)的发展和落地. ChatGPT作为当下最火热的PTM, 更是以优异的表现获得各界的广泛关注. 本文围绕ChatGPT展开. 首先概括PTM的基本思想并对其发展历程进行梳理; 接着, 详细探讨ChatGPT的技术细节, 并以平行智能的视角阐述ChatGPT; 最后, 从技术、范式以及应用等多个方面对PTM的发展趋势进行展望.
ISSN:0254-4156
DOI:10.16383/j.aas.c230107