这篇访谈聊的是OpenAI联合创始人Zaremba对AI未来的看法。他认为深度学习就像在一个巨大的“程序库”里搜索有用的程序，而GPT-3这类模型只是高级的“文本补全”工具。Zaremba很看好Codex和GitHub Copilot，认为它们让普通人用自然语言就能编程，是编程门槛的又一次降低。他还提出了一个有趣的观点：意识可能和“压缩”有关，自我意识就是压缩器在压缩自己。
OpenAI联合创始人Wojciech Zaremba在Lex Fridman播客中讨论了GPT-3、Codex、GitHub Copilot及机器人技术的未来。核心观点是语言模型和Transformer架构将深刻改变AI发展，GPT系列及Codex等系统可能成为21世纪革命性AI的核心。Zaremba领导语言与代码生成团队，强调这些模型不仅扩展了对智能结构的理解，还推动了从自然语言到视觉领域的应用。重要结论包括：AI系统（如GPT-3和Codex）在编程和语言任务中展现出巨大潜力，未来版本（GPT-4、5等）将持续演进；机器人研究虽由他早期主导，但当前重点已转向语言模型的实际部署，如GitH
好的，遵照您的指示，以下是针对该章节的分析。
本期嘉宾是OpenAI联合创始人Wojciech Zaremba，他领导语言与代码生成团队（GPT-3、Codex、GitHub Copilot），并曾主导机器人研究。访谈主线围绕AI的本质、语言模型的能力边界、编程的未来以及意识与人类体验的哲学探讨。Zaremba提出一个核心判断：深度学习之所以有效，是因为神经网络提供了一个“可搜索的程序空间”，而随机梯度下降（SGD）是这个空间中高效的搜索算法，这一观点将神经网络训练从“优化参数”重新定义为“在程序空间中搜索”。
Zaremba认为，深度学习的本质并非简单的函数拟合，而是在一个庞大的“程序空间”中进行搜索。 他指出，神经网络能够表示各种程序，而深度网络则允许进行多步计算。随机梯度下降（SGD）是这个空间中的搜索算法，它能从海量可能的程序中，将那些倾向于给出正确答案的“程序”放大出来。他引用Christopher Olah的工作说明，神经网络内部可以识别出类似“车轮检测器”这样的独立功能模块，这些模块可以像传统程序中的函数一样被分离和组合。
> “neural networks can represent some programs... deep learning provides the way to represent space of programs, which is searchable and it's searchable with stochastic gradient descent.”（意即：神经网络可以表示一些程序……深度学习提供了一种表示程序空间的方法，这个空间是可搜索的，并且可以用随机梯度下降来搜索。）
Zaremba进一步将这一框架与“AI三杠杆”理论结合：计算、算法和数据三者是乘数关系。 尽管目前计算量的增长贡献了最多的性能提升，但算法创新（如Transformer、Dropout）和数据（如整个互联网）同样关键。他特别指出，人类大脑约有100万亿个参数，而当前模型仍相对较小，且样本效率远低于人类（需要多1000倍的数据），但算法进步有望大幅降低样本复杂度。
Zaremba将GPT-3的核心能力概括为“文本补全”，并认为这一简单任务能泛化出惊人的智能。 模型仅通过预测下一个词，就能学会翻译、对话、甚至具备初步的编程能力。他承认模型存在局限，例如在长文本生成中会“偏离轨道”，且由于缺乏对自身错误的训练，无法像人类一样通过现实反馈进行自我纠正。
Codex和GitHub Copilot则代表了编程范式的又一次跃迁。 Zaremba将编程语言的发展史（从打孔卡到汇编、C、再到Python）视为一个不断降低编程门槛、让更多人能够创造技术的过程。Codex正是这一趋势的延续，它允许用户用自然语言与计算机交互，从而将编程能力赋予生物学家、艺术家等非技术背景的人。
> “Codex is yet another step toward bringing computers closer to humans, such that you communicate with a computer with your own language rather than with a specialized language.”（意即：Codex是朝着让计算机更接近人类迈出的又一步，这样你就可以用自己的语言与计算机交流，而不是用专门的语言。）
Zaremba还指出了程序合成相比语言生成的一个独特优势：程序可以被执行和测试。 这意味着可以通过自动化单元测试来验证生成代码的正确性，从而形成一个更可靠的反馈闭环，这是纯语言模型所不具备的。他认为，这为AI的自我改进提供了巨大潜力。
Zaremba提出一个大胆的假说：意识可能与“压缩”有关，而自我意识则是“元压缩”——即压缩器对自身的压缩。 他认为，AI模型（如GPT）的核心任务是预测下一个词，这在信息论上等价于压缩文本。压缩的过程就是学习现实模型的过程。当压缩器足够复杂，它可能会为了更高效地预测而开始压缩自身，这个过程可能就产生了自我意识或主观体验。
> “consciousness has to do with compression... self-consciousness has to do with compressor trying to compress itself... consciousness is metacompression.”（意即：意识与压缩有关……自我意识与压缩器试图压缩自身有关……意识就是元压缩。）
他将此与哥德尔不完备定理和停机问题类比，认为这些数学和计算机科学中的“自指”结构，可能正是意识产生的关键。Zaremba还探讨了“爱”的数学模型，认为爱是两个个体之间的“奖励函数融合”，即帮助对方优化其自身的奖励函数，而非自己的。这一框架也延伸到了对冥想和“自我”的理解：他认为“自我”（Ego）就像是GPT的“提示词”（Prompt），而冥想则是去除这个提示词，从而获得更纯粹、更无偏的体验。
Zaremba认为，机器人学面临的核心挑战是“数据匮乏”和“物理世界的复杂性”。 与数字世界（文本、代码）拥有海量数据不同，机器人缺乏第一人称视角的交互数据。他领导的机器人团队通过“域随机化”（Domain Randomization）技术，在模拟环境中训练一个能解决多种不同物理参数（如摩擦力、重量）的单一模型，从而成功实现了单手机械手解魔方。
他提出，如果今天要创办一家机器人公司，最优路径是先通过“遥操作”收集大量人类操作数据，然后使用监督学习进行训练。 长期来看，他认为需要训练出像GPT理解文本一样理解视频的强大模型，这些模型将具备丰富的常识，从而能驱动机器人完成各种任务。他预测，未来会出现一家市值超过1万亿美元的机器人公司，其核心业务可能是服务而非简单的制造。
| 标的 | 嘉宾态度 | 关键数据 |
|---|---|---|
| GPT-3 | 看好其能力，但指出局限 | 训练于整个互联网；能生成几段连贯文本，但长文本会“偏离轨道” |
| Codex / GitHub Copilot | 非常看好，认为是编程范式革命 | 能根据注释或函数头生成10行以上代码；可执行和测试是其独特优势 |
| DALL-E | 提及，作为生成式模型的例子 | 生成图像 |
| CLIP | 提及，作为判别式模型的例子 | 提供图片可能性并判断最可能的一个 |
| Tesla Autopilot | 认可其“数据引擎”方法 | 通过部署、收集边缘案例、人工标注、再部署的循环来改进模型 |
1. 深度学习是程序空间搜索 (Wojciech Zaremba): 神经网络提供了一个可搜索的程序空间，而随机梯度下降（SGD）是这个空间里高效的搜索算法，这一视角将训练过程从参数优化重新定义为程序发现。
2. 意识是“元压缩” (Wojciech Zaremba): 意识可能与压缩有关，而自我意识则是压缩器对自身的压缩（元压缩）。这一假说将哥德尔不完备定理和停机问题中的“自指”结构与意识联系起来。
3. 爱是奖励函数的融合 (Wojciech Zaremba): 爱意味着帮助他人优化其自身的奖励函数，而非你自己的。这一定义将爱从情感体验抽象为一种计算上的“目标对齐”。
4. Codex是编程门槛的又一次降低 (Wojciech Zaremba): 从打孔卡到Python，编程门槛的每一次降低都带来了技术的大爆发。Codex通过自然语言编程，将把这一能力赋予更广泛的非技术人群。
5. 程序合成优于语言生成的关键在于可执行性 (Wojciech Zaremba): 与自然语言不同，生成的代码可以被执行和测试，这为AI提供了一个自动化的反馈闭环，是实现自我改进的关键。
6. 机器人学的捷径是“遥操作+监督学习” (Wojciech Zaremba): 在当前数据匮乏的条件下，最有效的机器人研发路径是先通过人类遥操作收集数据，再用监督学习训练模型，而非完全依赖强化学习。
7. “自我”（Ego）是GPT的“提示词” (Wojciech Zaremba): 我们关于“我是谁”的故事，就像GPT的上下文提示词，决定了我们的行为模式。冥想则是去除这个提示词，以获得更纯粹、无偏的体验。
8. “AI三杠杆”是乘数关系 (Wojciech Zaremba): 计算、算法和数据是推动AI进步的三个杠杆，它们的效果是乘数关系，而非加法。尽管目前计算贡献最大，但算法和数据仍有巨大潜力。