人工智能往事：大模型的理论基础，曾一度被判死刑

Hutong9.net

人工智能往事：大模型的理论基础，曾一度被判死刑

来源：观察者网
2024-07-22 16:56:48

【编者按：人工智能技术的飞速发展，在短短一两年内彻底改变了人类对于未来的想象。例如，近期萝卜快跑刷屏，让不少人惊呼无人驾驶已经近在眼前，并担忧AI给社会造成的冲击。大语言模型也仿佛在一夜之间就产生了神奇的涌现。甚至在2023年初，有人认为“历史已经终结”，OpenAI在大模型领域已经不可动摇。然而，在很多从业者看来，大模型从来不是突然出现的，AI的发展也经历了漫长的起起伏伏。不久前，各大模型分不清9.11和9.9哪个大的新闻，证明目前的大模型能力尚有巨大缺陷。OpenAI也被曝出，正在开发不同于ChatGPT的、更侧重推理能力的新模型。事实上，人类期待的通用人工智能（AGI）目前还远远没有出现，甚至大模型是不是通向AGI的正确道路，在学术界都充满了争议。纵观人工智能发展史，作为大模型理论基础的“联结主义”学派，曾经还一度被判死刑，被讥讽为“炼金术”。如今，联结主义开始占据绝对话语权，但谁又能保证，未来不会再次反转？我们可以对AI技术的未来心怀乐观，但以史为鉴，也无需过早地认为，人类已经找到了人工智能的终极答案。】

回顾人工智能的发展历史，有三个主要的人工智能学派，分别是机器模拟人类心智（mind）的符号主义、机器模拟人类大脑（brain）的联结主义以及机器模拟人类行动（action）的行为主义（见表 1-1）。由于行为主义的研究主要和机器人学高度相关，往往被视为相对独立的分支，且其主要观点已经融入联结主义的方法论，因此本书主要介绍符号主义与联结主义这两个观点相对的人工智能学派。

表 1-1　人工智能学派主要思想和典型应用

称霸早期人工智能的符号主义

从 1956 年达特茅斯会议第一次提出“人工智能”一词到 20 世纪 90 年代末，符号主义统治了早期的人工智能。如果用一句话来描述符号主义的思想，那就是将现实世界抽象为可被机器识别和计算的符号，利用运算模仿人脑思考，通过逻辑推理来认知世界。简言之，符号主义认为智能就是计算。由于逻辑和计算是人类典型的心智活动，因此符号主义也常常被称为心智派。

追根溯源，符号主义直接脱胎于艾伦 · 麦席森 · 图灵的思想。图灵定义了什么是人工智能，以及人工智能应该具备什么样的能力。20 世纪 40 年代，二战带来的计算科学和半导体技术的大爆发，让人们越来越多地在现实层面讨论机器智能的可能。但在那个约翰 · 冯 · 诺依曼还没提出计算机架构的年代，学术界根本无法对人工智能的定义达成一致，更不用说形成一门严谨的学科了。

此时图灵的天才尽显无遗，他另辟蹊径，先假定机器可以具有类似人类的智能，然后给出一个判断方法：人与一台机器和另一人进行对话，通过提问与回答，分辨与之对话的是机器还是人类。如果人无法区分机器和人类，则代表机器通过了测试，是具备智能的。

这就是大名鼎鼎的“图灵测试”，起初它只是在论文中的一个思维实验。图灵没有想到的是，图灵测试会成为判断人工智能水平的重要标准。到 2024 年的今天，每隔几年就会有研究团队带着自己的人工智能向图灵测试发起挑战，但还没有一个可以成功，即便是今天最强大的生成式 AI 模型也没有完成图灵的愿景。

1950 年，图灵发表了题为《计算机器与智能》的重要论文，探讨“机器能否思考”这一问题。图灵的明智之处，是他没有纠结于机器如何思考的问题，而是开创性地提出用计算和推理达到智能的效果，并提出了用图灵机的计算架构去实现这种智能，以及用图灵测试来验证智能效果。可以说他一个人定义了什么是人工智能（计算）、如何实现智能（图灵机）以及人工智能的标准（图灵测试），因此被公认为“人工智能之父”。

回看历史，如果我们承认图灵是人工智能的奠基人，那我们可以说早期的人工智能就是符号主义的。顾名思义，符号主义得名于符号，其思想主要继承于图灵，认为智能等同于计算。为了实现智能，就要用各种方法将现实世界的各种物体抽象成符号，然后利用逻辑和计算替代人类大脑的思考。

在图灵、马文 · 明斯基和赫伯特 · 西蒙等代表人物的引领下，符号主义学说在人工智能领域的统治地位维持了半个多世纪，直到杰弗里 · 辛顿等学者引领的机器学习潮流出现。然而由于时代和相关技术的局限性，符号主义 AI 取得的两大主要成就是符号表达和专家系统。

将知识符号化的过程又被称为符号表达，也是实现符号主义 AI 的基础步骤，其中应用最广的一个系统就是语义网络。语义网络可以直观地呈现信息，并且能进行复杂的语义推理。进入互联网时代，谷歌在 2012 年提出了知识图谱的概念，语义网络的相关研究和应用又迎来了一个小高潮。在知识图谱的帮助下，搜索引擎能够确定 Apple（品牌）和 apple （水果）之间的区别。语义网络在自然语言处理（NLP）和知识图谱等领域至今仍广泛应用，是符号主义在今天仍然在发挥作用的为数不多的重要遗产。

符号主义的另一个主要成就是专家系统。顾名思义，专家系统是一套回答人们特定问题的计算机系统。20 世纪 70 年代，计算机的硬件发展让大规模的知识存储成为可能，专家系统应运而生，这些系统基于特定行业的知识收集存储，并利用编程规则解决特定的专业问题，如医疗诊断、金融分析等。专家系统的概念，第一次让社会看到了人工智能在商业应用中的前景。

人们对人工智能首次在商业世界中的大规模应用充满期待。然而后来的历史证明，符号主义正在走入一条没有出路的死胡同。符号主义相信，逻辑是认知世界的唯一途径，因为这是人类认知世界的方式，因此他们不辞辛劳地为计算机所做的每一个决定进行编程。然而问题是，现实世界往往充满了定义不清和难以描述规则的事件，一个由工程师精心打造、像钟表一样精密的专家系统根本无法应对这样的情况。

专家系统未能达到预期，让人们对人工智能产业再次失望，直接引发了人工智能第二个冬天的到来（见图 1-1）。尽管深蓝计算机应用最新的统计学方法战胜了人类，但这种胜利也展现了符号主义的局限性—— IBM 花费了多年时间和数百万美元开发一台能下国际象棋的计算机，但仅此而已，深蓝在其他领域毫无建树。

到此为止，符号主义 AI 看似已经进入瓶颈，无法解决通用性和随机性问题的弊端让 AI 难以实现可观的商业价值。由于发展没有达到外界预期，符号主义 AI 两次陷入低谷，外部投资、政府支持和相关学术研究大量减少，史称 AI 寒冬。浙江大学人工智能研究所所长吴飞认为：“将人类所有知识收集起来且形式化的任务根本无法完成。人工智能需要模拟大脑而非追求严密的推导功能，即对推理的严格约束进行松绑。”看来人工智能要实现破局，需要我们拥有一种完全不同的思维方式。

命途多舛的联结主义

如果说符号主义试图模拟人类的心智，那么联结主义则试图模拟人类的大脑。与称霸主流的符号主义相比，联结主义的发展更加一波三折，甚至有点像武侠小说的情节——主人公遭遇重大打击却矢志不渝，后来的一番奇遇让他修得神功，最终一统江湖。联结主义的主要思想——模拟人脑的神经网络理论，在人工智能发展早期就已经出现，和符号主义分庭抗礼，但却因为种种限制长期被压制，并没有得到长足发展。神经网络的创始人沃尔特 · 皮茨（Walter Pitts）英年早逝，第一个将神经网络投入应用的学者弗兰克 · 罗森布拉特（Frank Rosenblatt）甚至被很多人认为是间接死于学派理论之争，直到辛顿携深度学习出世，神经网络才成为人工智能研究的主流。

符号主义称霸了早期人工智能领域，以神经网络为基础的联结主义则统治了今天的人工智能领域。1943 年，神经学家沃伦 · 麦卡洛克（Warren McCulloch）和数学家皮茨提出了首个人工神经网络模型，从而开创了人工神经网络模拟人类大脑研究的时代，这就是联结主义的起源。后来人们根据麦卡洛克和皮茨的名字将神经元模型命名为“M-P 神经元模型”。神经元模型的发布并没有造成太大的影响力，因为它实在太简单，人们不知道它能做什么。直到 1957 年，罗森布拉特在一台 IBM 704 计算机上模拟实现了一个叫作“感知机”（perceptron）的神经网络模型“Mark Ⅰ”（见图 1-2），号称可以对手写数字进行视觉识别和分类。

简单来说，最初的神经网络就像一个超级大的参数方程，每个参数对应手写数字的一个像素。通过研究大量的手写体数字，研究人员就可以设定每个参数的赋值——在今天的大语言模型中称之为权重，神经网络就可以分辨数字了。

图片来源：https://transbordeur.ch/en/2019/conversations/图 1-2　罗森布拉特和他的感知机“Mark Ⅰ”

尽管感知机的功能简单，却有着重大意义。这是人类第一次只需要通过预先的参数调整，不依靠编程，仅靠机器学习以完成某项智能任务，这就展现了一条独立于图灵机和符号主义的实现人工智能的全新道路。至今所有以神经网络为基础的人工智能模型在最基本的工作原理上都与感知机并无二致。

更重要的是，它和主流的符号主义思想完全背道而驰，形成了一种学术路线之争，自然会引发学术同行的质疑和论战。联结主义的代表马文 · 明斯基和西摩尔 · 派普特（Seymour Papert）在 1969 年出版的《感知机》这本书中指出了感知机神经网络的一个致命问题：神经网络可以很好地完成“与”“或”“非”的逻辑运算，却无法完成异或（exclusive-OR， 缩写成 XOR）这一人类可以简单处理的逻辑运算，这是由于像感知机这样单层的神经网络（只有一层输入层和一层输出层）无法解决非线性分割问题。

要解决这一问题，只能通过多层神经网络，也就是深度学习的方法，但由于当时计算能力有限，根本无法解决多层神经网络造成计算量激增的问题。

作为人工智能的先驱，明斯基的著作在该领域有巨大的影响力，且他对单层神经网络缺点的论证几乎无懈可击，这在当时人们的头脑中烙下思想钢印：“神经网络连最基本的逻辑运算都无法完成，更不可能具有智能。” 从此之后，研究者对神经网络研究的热情大减，甚至视之为人工智能研究的“异端”。由于在学术论战中落败，罗森布拉特从此一蹶不振，并在《感知机》出版不久后的 1971 年，不幸在自己 43 岁生日当天溺水身亡。而在该书出版的同一年，年仅 46 岁的皮茨在收容所孤独死去。4 个月之后，麦卡洛克也在医院过世。

短短两年间，几位领军人物相继离世，这对整个联结主义学派乃至人工智能领域来说都是沉重的打击，有关神经网络的研究进入了一个长达几十年的低潮期，直到辛顿引领的深度学习潮流出现，才上演了王者归来的大戏。

可以看到，符号主义和联结主义思潮在 20 世纪 60 年代相继出现，但各自都遭遇了挑战和挫折。尽管符号主义是当时的“显学”，但也遇到了研究的瓶颈，无法满足人们对人工智能不切实际的预期。而联结主义则在路线斗争中落于下风，被讥讽为“炼金术”，难以获得资金和人才的支持。当然，受限于时代，计算技术、数据存储技术的发展都刚刚萌芽，人工智能的研究者们很难将他们的设想化为现实，这也是人工智能屡屡遭遇寒冬的客观原因。

（本文节选自《云上的中国3》 作者：吴晓波 / 安健 / 刘斌）