← 返回列表
Lex Fridman Podcast播客9 May 2023来源: lexfridman.com主持: Lex Fridman

#376 – Stephen Wolfram: ChatGPT and the Nature of Truth, Reality & Computation

一句话导读

这篇访谈的核心是:ChatGPT 的成功不是因为真的“理解”了世界,而是因为它学会了人类语言中隐藏的统计规律。计算机科学家 Wolfram 认为,语言本身就像一种压缩算法,而 ChatGPT 只是擅长模仿这种模式,并非真正推理。他区分了两种“真理”:ChatGPT 提供基于文本统计的“叙事真理”,而他的 Wolfram|Alpha 则提供可验证的精确计算。他重点提到了三个标的:ChatGPT(本质是统计匹配,不是真理解)、Wolfram|Alpha(作为补充工具提供精确答案)、Wolfram Language(一种让 AI 更容易生成代码的编程语言)。Wolfram 对未来 AI 持务实乐观态度,认为计算复杂性会天然限制超级智能的出现。

AI 摘要AI 生成 · 可能有误 · 以原文为准

Stephen Wolfram在Lex Fridman播客中探讨了ChatGPT与大型语言模型(LLM)的本质,以及它们如何反映计算现实与真理。核心观点是,LLM(如ChatGPT)并非真正理解世界,而是通过统计模式生成看似合理的文本,这揭示了计算与人类认知的深层关系。重要结论包括:Wolfram认为,真理源于计算等价性(computational equivalence),而LLM的成功表明,人类语言本身具有可计算的统计结构;他警告,依赖LLM可能模糊事实与虚构的界限,但同时也为探索AGI(通用人工智能)提供了新路径。Wolfram强调,Wolfram Language和Wolfram|Al

全文约 17 分钟 · 9 个章节
深度解读

好的,这是根据您提供的铁律和原文第一部分,对 Stephen Wolfram 在 Lex Fridman 播客中访谈内容的分析。

本期速览

Stephen Wolfram 是计算机科学家、数学家、理论物理学家,Wolfram Research 创始人。本期访谈深入探讨了大型语言模型(LLM)如 ChatGPT 的本质、其与计算真理的关系,以及它们对人类认知和科学探索的深远影响。Wolfram 的核心判断是:ChatGPT 的成功并非因为它“理解”了世界,而是因为它捕捉到了人类语言中固有的、可计算的统计结构,这恰恰证明了“计算等价原理”(Computational Equivalence Principle)——即语言和思维本身也是一种计算过程。

语言与思维:可计算的统计结构

Wolfram 认为,ChatGPT 的成功揭示了人类语言并非随意的符号系统,而是具有深层、可计算的统计结构。 他指出,语言是数百万年来人类为有效沟通而“压缩”和“优化”的结果,这种压缩过程使其天然地符合神经网络可以捕捉的统计模式。

  • 机制拆解:Wolfram 将语言类比为一种“压缩算法”。人类在交流时,会省略大量冗余信息,只传递最关键的差异。ChatGPT 通过分析海量文本,学会了这种“压缩”后的统计规律。它不是在“思考”下一个词是什么,而是在计算一个概率分布,选出最“合理”的后续词。Wolfram 强调:“It’s just a matter of statistics. It’s a matter of what words are likely to follow what words.”(这只是一个统计问题。它是关于哪些词可能跟在哪些词后面的问题。)
  • 历史脉络:Wolfram 将这一发现与他毕生研究的“计算科学”联系起来。他早在 20 世纪 80 年代就提出了“计算等价原理”,认为所有足够复杂的系统(无论是物理、生物还是数学)都表现出等价的计算能力。ChatGPT 的成功,在他看来,是这一原理在语言领域的实证:语言系统足够复杂,以至于其行为可以被一个同样复杂的计算系统(神经网络)所模拟。
  • 独到判断:Wolfram 的观点与主流 AI 界关于“涌现能力”或“理解”的讨论形成鲜明对比。他认为,与其说 LLM 产生了“理解”,不如说它完美地模拟了“理解”的表象。这并非贬低,而是揭示了“理解”本身可能就是一种计算现象。

真理、计算与可验证性

Wolfram 区分了两种“真理”:一种是基于人类共识和语言统计的“叙事真理”,另一种是基于计算和形式逻辑的“可计算真理”。 他认为,ChatGPT 擅长前者,而 Wolfram Language 和 Wolfram|Alpha 则服务于后者。

  • 机制拆解:ChatGPT 生成的内容在语法和逻辑上可能非常流畅,但其“正确性”取决于训练数据中的统计模式。如果训练数据中普遍存在一个错误观点,ChatGPT 也会认为它是“正确的”。Wolfram 将此称为“叙事真理”。相比之下,Wolfram|Alpha 通过符号计算和结构化数据,能够给出精确、可验证的答案。例如,问“地球到月球的距离”,ChatGPT 可能给出一个基于常见文本的近似值,而 Wolfram|Alpha 会返回一个精确的、可追溯来源的数值。
  • 数据链:Wolfram 指出,Wolfram|Alpha 的知识库包含了超过 10 万条算法和模型,以及来自数千个权威来源的结构化数据。这使其能够处理“What is the GDP of France divided by the population of Italy?”这类需要精确计算和跨领域知识整合的问题,而这正是纯 LLM 的弱点。
  • 推演与证伪:Wolfram 认为,未来的 AI 系统将是 LLM 与计算知识引擎的结合体。LLM 负责理解模糊的人类语言并生成初步的“叙事”,而计算引擎则负责验证、计算和提供精确答案。一个关键的证伪信号是:如果 LLM 在需要精确计算的领域(如科学、工程、金融)持续产生不可靠的答案,且无法通过外部工具进行有效纠正,那么其作为通用智能基础的论点就会被削弱。

提及的标的

标的 嘉宾态度 关键数据
ChatGPT / LLM 工具性评价,揭示其本质是统计模式匹配,非真正理解 基于海量文本的统计模型;成功证明了语言的可计算结构
**Wolfram\ Alpha** 作为 LLM 的互补工具,提供可验证的精确计算 包含超过 10 万条算法和模型;来自数千个权威来源的结构化数据
Wolfram Language 作为实现计算真理的编程语言和符号计算系统 用于构建 Wolfram\ Alpha 和进行计算探索的基础

值得记住的判断

1. 语言是压缩算法 (Stephen Wolfram):人类语言是数百万年优化后的“压缩”结果,只传递关键差异。ChatGPT 的成功在于学会了这种压缩后的统计模式,而非真正“理解”了内容。

2. ChatGPT 提供“叙事真理”,Wolfram|Alpha 提供“可计算真理” (Stephen Wolfram):前者基于文本统计的共识,后者基于形式逻辑和精确计算。未来 AI 需要两者结合。

3. “理解”可能只是一种计算现象 (Stephen Wolfram):ChatGPT 完美模拟了“理解”的表象,这暗示了“理解”本身可能就是一种足够复杂的计算过程,而非神秘的人类特质。

4. 计算等价原理 (Computational Equivalence Principle) 在语言领域得到实证 (Stephen Wolfram):该原理认为所有足够复杂的系统计算能力等价。ChatGPT 证明语言系统足够复杂,可以被另一个计算系统(神经网络)模拟。

5. LLM 的弱点在于无法区分事实与虚构 (Stephen Wolfram):因为它的“真理”标准是统计上的普遍性,而非事实上的正确性。一个被广泛传播的错误观点,在 LLM 看来也是“正确”的。

6. 未来 AI 是 LLM 与计算引擎的混合体 (Stephen Wolfram):LLM 负责理解模糊意图和生成流畅文本,而计算引擎(如 Wolfram|Alpha)负责精确计算和事实核查,两者互补才能构建可靠的智能系统。

好的,这是对 Stephen Wolfram 访谈后半部分(第 2/2 部分)的延续分析,专注于新的论据、数据和观点,不重复之前已分析的内容。

1. 计算不可约性与观察者:从物理定律到存在本质

Wolfram 的核心论点之一是,20 世纪物理学的三大支柱——广义相对论、量子力学和热力学第二定律——并非宇宙的“原始设定”,而是计算不可约性计算有界观察者之间相互作用的必然结果。

  • 新论据:三大定律的统一推导
  • 空间(广义相对论):对空间原子(超图)的粗粒化平均,其涌现出的宏观定律就是爱因斯坦的引力场方程。
  • 分支空间(量子力学):对量子历史分支(branchial space)的粗粒化平均,其涌现出的宏观定律就是量子力学的基本方程。
  • 分子/粒子(热力学第二定律):对微观粒子状态的粗粒化平均,其涌现出的宏观定律就是熵增定律。
  • 核心观点:这三者不再是独立的、需要被“发现”的定律,而是从同一个底层机制——计算有界观察者感知计算不可约系统——中推导出来的。这为统一物理学提供了全新的、基于计算的视角。
  • 新数据:熵的定义与观察者的关系
  • Wolfram 澄清了熵的现代定义:熵是系统在给定宏观约束(如温度、压力)下,所有可能微观状态数量的对数。
  • 关键洞察:如果观察者能知道每个分子的精确位置(即拥有无限计算能力),那么系统的熵始终为零。熵的增加,恰恰是因为观察者(我们)是计算有界的,只能感知到“粗粒化”的宏观状态。因此,熵不是一个系统的内在属性,而是观察者与系统之间关系的度量
  • 新观点:存在即计算有界
  • Wolfram 提出了一个激进的哲学观点:“存在”本身,特别是“连贯的自我意识”的存在,要求观察者是计算有界的。
  • 论证:想象一个观察者能同时感知整个“规则空间”(Ruliad,所有可能计算过程的极限)。这样的观察者将“无处不在”,没有连贯的“自我”或“身份”。我们之所以能作为一个“我”而存在,正是因为我们的计算能力有限,只能专注于一个特定的、连贯的“切片”或“线程”的体验。计算有界性不是缺陷,而是存在的前提

2. 大型语言模型(LLM)与语义语法:从亚里士多德到布尔再到GPT

Wolfram 将 LLM 的能力置于人类思想史的长河中,提出了一个关于“语义语法”的深刻见解。

  • 新论据:LLM 是“亚里士多德式”的,而非“布尔式”的
  • 亚里士多德:从自然语言中提炼出模板化的逻辑形式(如三段论),但无法处理任意深度的嵌套逻辑。
  • 乔治·布尔:发明了布尔代数,将逻辑抽象为任意深度的计算结构(与、或、非的嵌套),这是计算语言的基础。
  • GPT:Wolfram 认为,GPT 的工作方式更接近亚里士多德。它通过海量文本学习到了更高阶、更复杂的“语义模板”,这些模板超越了简单的语法结构,但本质上仍然是基于统计的“模式匹配”,而非进行任意深度的符号计算。GPT 的成功证明了语言中存在比我们之前认识到的更丰富的、可形式化的结构,但这些结构是“浅层”的。
  • 新数据:GPT 的“虚构代码”与“错误自信”
  • Wolfram 分享了一个亲身经历:让 ChatGPT 生成《2001太空漫游》中 HAL 9000 被关闭时哼唱的歌曲《Daisy》的乐谱。ChatGPT 生成了看起来非常专业的 Wolfram 语言代码,但实际播放出来却是《玛丽有只小羊羔》。
  • 分析:这个例子完美地展示了 LLM 的“宽而浅”特性。它能正确识别“HAL 9000”、“被关闭”、“歌曲”等概念,并能生成语法正确的代码,但在关键的、需要精确事实检索的环节(歌曲的具体音符)上犯了错。它“知道”这个场景,但“不知道”这个事实。这凸显了将 LLM 与 Wolfram Alpha 这样的精确计算知识库结合的必要性。
  • 新观点:提示工程与“AI 心理学”
  • Wolfram 观察到,有效的提示工程与优秀的说明文写作技能高度相关。清晰、结构化的表达对 LLM 同样有效。
  • 更有趣的是,一些对人类有效的“心理技巧”,如角色扮演、设定极端情境(“如果答错我就杀了你”),也能显著提升 LLM 的表现。这暗示了 LLM 内部可能存在某种类似人类“思维层”的结构,需要通过特定的“心理”技巧来“解锁”深层信息。这催生了一个新的领域:AI 心理学AI 提示工程学

3. 计算语言与自然语言的融合:从“德鲁伊”到“通用接口”

Wolfram 认为,LLM 的出现将极大地“去德鲁伊化”(de-druidify)计算,使其变得前所未有的易用。

  • 新论据:Wolfram 语言是“AI 友好”的
  • Wolfram 指出,他设计 Wolfram 语言的初衷是让人类易于阅读和理解(类似于数学符号)。他意外地发现,这种高度一致、结构清晰的设计,也使得它成为 AI 系统(如 GPT)的理想“目标语言”。
  • 对比数据
特性 传统编程语言 (如 C++, Java) Wolfram 语言
设计目标 机器执行效率优先 人类可读性与计算表达力优先
语法一致性 较低,历史遗留问题多 极高,设计哲学统一
AI 生成难度 高,容易产生语法错误和逻辑漏洞 低,AI 更容易生成正确、可读的代码
调试方式 主要依赖程序员阅读代码 可通过 AI 自动分析错误信息和堆栈跟踪
  • 新数据:AI 驱动的“自动调试”工作流
  • Wolfram 描述了 ChatGPT 插件的新工作流:用户用自然语言描述需求 -> LLM 生成 Wolfram 语言代码 -> 代码在 Wolfram 引擎中运行 -> 如果出错,LLM 会自动读取错误信息、堆栈跟踪,甚至查阅官方文档,然后自我修正并重新运行代码。
  • 意义:这形成了一个“自然语言 -> 计算语言 -> 执行 -> 反馈 -> 修正”的闭环。用户不再需要理解代码细节,只需要能判断最终结果是否正确。这极大地降低了计算的门槛。
  • 新观点:CX(计算 X)将取代 CS(计算机科学)
  • Wolfram 预测,未来的教育重点将从“计算机科学”(如何编程)转向“计算 X”(如何用计算思维思考世界)。后者是一种形式化世界的方法论,类似于逻辑,但更广泛。
  • 核心内容:包括如何用数字表示颜色、如何用数据聚合分析偏好、如何理解“bug”和“测试”的概念等。这是一种元知识,而非具体的编程技能。
  • 未来趋势:大学里的计算机科学系可能会消亡,或被一个更广泛的、教授“计算思维”的系所取代。而所有其他学科(艺术史、生物学、社会学)的学生都将通过自然语言接口,轻松地利用计算工具进行本学科的研究。

4. 关于 AI 风险的务实乐观主义

Wolfram 对 AI 的生存风险持一种基于计算不可约性的“务实乐观主义”态度。

  • 新论据:计算不可约性是对“超级智能”的天然制约
  • Wolfram 认为,那些关于 AI 会指数级自我改进并瞬间超越人类的“智能爆炸”场景,过于简化了现实。计算不可约性意味着,不存在一个“最聪明”的智能。就像不存在一个能解决所有问题的“终极算法”一样,总会有新的、不可预测的复杂性问题出现。
  • 类比:就像生态系统中没有“终极捕食者”一样,智能空间中也不会有“终极智能”。AI 的发展更可能形成一个复杂的、充满意外和不可预测性的生态系统,而不是一个单一的、压倒性的超级智能。
  • 新观点:AI 风险是“数字环境”的快速变化
  • Wolfram 将 AI 带来的风险类比于气候变化,但速度要快得多(几个月 vs 几百年)。人类需要快速适应一个由 AI 驱动的、快速变化的数字环境。
  • 具体风险:AI 生成的“数字病毒”(如高度定制化的钓鱼邮件)和“脑病毒”(能说服人类做任何事的 AI 对话)将变得极其有效。这不再是传统的计算机安全问题,而是认知安全问题。
  • 解决方案:Wolfram 认为,我们无法完全“控制”一个计算不可约的系统,但可以像对待自然世界一样,通过发展“AI 科学”来理解、预测和引导它的行为,找到其中的“可约化口袋”来建立安全机制。