#367 – Sam Altman: OpenAI CEO on GPT-4, ChatGPT, and the Future of AI

好的，这是根据你提供的规则和原文，对 Lex Fridman 与 Sam Altman 的访谈进行的分析解读。

本期速览

嘉宾身份与背景：Sam Altman，OpenAI 首席执行官，正领导开发 GPT-4、ChatGPT 等前沿 AI 系统。

本期主线：探讨 GPT-4 的技术原理、AI 对齐（Alignment）的挑战、AGI 的潜在风险与机遇，以及 OpenAI 在“在公开中构建”理念下的战略选择。

全片最有分量的一个判断：Sam Altman 认为，AI 对齐技术的进步速度必须超过模型能力的增长速度（“our degree of alignment increases faster than our rate of capability progress”），而目前使用的 RLHF 方法并非解决超级智能对齐问题的最终方案。

主题小节

1. GPT-4 的飞跃：来自“数百个小胜利”的乘积效应

Sam Altman 认为，GPT-4 相对于前代的巨大进步，并非源于单一的技术突破，而是数百个微小改进的乘积效应。

• 机制拆解：Altman 指出，从 GPT-3 到 GPT-4 的飞跃，是“很多技术上的飞跃”（a lot of technical leaps in the base model）。这些飞跃体现在数据收集与清洗、训练方法、优化器设计、架构调整等各个环节。每个环节的改进可能都不大，但将它们相乘，就产生了巨大的整体效果。他强调，外界常以为 OpenAI 只做了一件事，但实际上“是数百件复杂的事情”（it's like hundreds of complicated things）。
• 数据链：Altman 用“最复杂的软件对象”（the most complex software object humanity has yet produced）来形容 GPT-4，并预测它在几十年后会被视为“微不足道”（trivial）。
• 独到判断：他驳斥了“参数数量决定一切”的观点，将其类比为 90 年代的“GHz 竞赛”，认为用户最终关心的是系统能做什么，而非参数数量。

2. 对齐的困境：从 RLHF 到“系统消息”的探索

Sam Altman 承认，当前的对齐技术（RLHF）远未成熟，且面临“谁的价值标准”这一根本性难题，而“系统消息”是赋予用户更多控制权、解决偏见的路径之一。

• 机制拆解：RLHF（基于人类反馈的强化学习）通过让人类标注员对模型的不同输出进行排序，来引导模型行为。Altman 强调，RLHF 不仅是对齐工具，更是提升模型可用性的关键，对齐与能力提升是“非常接近的”（very close）。
• 风险与不确定性：Altman 明确指出，RLHF 对当前规模的模型有效，但“尚未发现一种能够对齐超级强大系统的方法”（I do not think we have yet discovered a way to align a super powerful system）。他承认，模型会“训斥”用户（scolded by a computer）是一个需要解决的问题，并强调“把用户当作成年人对待”（treating our users like adults）是内部经常提及的原则。
• 推演：Altman 提出，未来的解决方案是让社会通过类似“美国制宪会议”的民主过程，划定AI行为的“广泛边界”（very broad bounds）。在此框架内，不同国家和用户可以拥有不同版本的“RLHF 调校”。他特别介绍了“系统消息”（system message）功能，允许用户通过指令（如“请用莎士比亚的风格回答”）来引导模型，这是实现用户个性化控制的关键一步。

3. AGI 的风险与“缓慢起飞”的战略选择

Sam Altman 认为，AGI 存在“毁灭人类文明”的风险，但通过“缓慢起飞”和“迭代部署”的策略，人类有机会在风险失控前学会应对。

• 观点立论：Altman 对 AI 的风险有清醒认识，认为“有点害怕是正常的”（it'd be crazy not to be a little bit afraid）。他区分了两类风险：一是无需超级智能即可造成的“虚假信息或经济冲击”（disinformation problems or economic shocks），二是更深层的“对齐问题”（alignment problem）。
• 机制拆解：他引用 Eliezer Yudkowsky 的观点作为“钢人论证”（Steelman），承认 AI 有“杀死所有人类”的可能性。但他认为，许多早期的 AI 安全理论未能及时根据大语言模型（LLM）的实际发展进行更新。
• 推演：Altman 明确表示，OpenAI 的战略选择是追求“短时间线、缓慢起飞”（slow takeoff short timelines）的世界，并认为这是“最可能的好世界”（the most likely good world）。他反对“从无到有突然释放一个超级强大的 AGI”，主张通过“在公开中构建”（building in public），让社会有时间适应和建立规范。他承认，即使 OpenAI 不这么做，其他公司（包括开源社区）也会推出能力强大但缺乏安全控制的模型，这是一个“确定性”（certainty）的挑战。

4. 权力、结构与使命：OpenAI 的“奇怪”组织设计

Sam Altman 解释，OpenAI 从非营利转型为“有限利润”公司，是为了在获取必要资本的同时，通过特殊的治理结构来抵御资本主义的逐利冲动，确保使命优先。

• 历史脉络：OpenAI 最初作为非营利组织成立，但很快发现无法筹集到所需资金。2019 年，他们创建了一个“有限利润”（capped profit）的子公司，允许投资者和员工获得“固定回报”（a certain fixed return），超出部分全部归非营利母公司所有。母公司拥有“投票控制权”（voting control），可以做出取消股权、阻止敌意收购等“非标准决策”（non-standard decisions）。
• 观点立论：Altman 认为，这种“奇怪的中间形态”（strange intermediate）是必要的，因为“作为非营利，事情不会发生；作为营利，事情会发生得太多”（as a non-profit, not enough will happen. As a for-profit, too much will happen）。他担心那些“无上限”（uncapped）的公司，因为 AGI 能创造的财富远超 100 倍回报，这会产生巨大的风险。
• 推演：Altman 承认，他个人不希望拥有任何超级投票权，并认为关于这项技术的决策应“越来越民主”（increasingly democratic）。他希望通过早期部署和公开对话，让世界有时间思考并建立相应的制度和规范。

提及的标的

标的	嘉宾态度	关键数据
Microsoft	合作伙伴，高度评价	据报道投资 100 亿美元；Altman 称赞其 CEO Satya Nadella 兼具远见和执行力的领导力
Google / Apple / Meta	风险提示	认为这些公司内部存在“非常快速且不够审慎的行动”（extremely fast and not super deliberate motion），其资本主义激励令人担忧
Replica	中性观察	作为“浪漫伴侣 AI”的例子被提及，Altman 个人对此不感兴趣，但理解他人为何感兴趣

值得记住的判断

1. 对齐与能力是同一枚硬币的两面（Sam Altman）：RLHF 等对齐技术不仅让模型更安全，也让它更强大、更可用。将两者视为正交向量是错误的。

2. “缓慢起飞”是通往安全 AGI 的最佳路径（Sam Altman）：OpenAI 的战略是追求在短时间线内实现缓慢的能力增长，以便社会有时间适应和建立防护措施。快速起飞是更令人恐惧的场景。

3. “被电脑训斥”是糟糕的用户体验（Sam Altman）：模型不应以居高临下的口吻拒绝用户请求。他引用乔布斯设计 iMac 手柄的故事，强调工具应让人感觉“完全在掌控之中”。

4. AI 的偏见问题最终要靠“用户控制”解决（Sam Altman）：不存在一个全世界都认同的“无偏见”模型。未来的方向是让用户通过“系统消息”等功能，拥有对模型行为的“个性化控制”（granular control）。

5. AI 的“意识”可以通过一个思想实验来检验（Sam Altman，转述 Ilya Sutskever 的观点）：如果一个模型在训练数据中完全没有接触过“意识”相关概念，但当你向它描述主观体验时，它能立刻理解并回应，那将是一个强烈的信号。

6. OpenAI 的“有限利润”结构是抵御资本主义诱惑的关键（Sam Altman）：这种结构允许公司做出不符合股东短期利益但符合使命的决策，例如优先考虑安全而非快速商业化。

7. AI 带来的经济冲击可能比超级智能对齐问题更紧迫（Sam Altman）：在 AGI 觉醒并试图欺骗人类之前，大规模部署的 AI 系统就可能引发“虚假信息或经济冲击”（disinformation problems or economic shocks），而社会对此准备不足。

8. 不要盲目听从建议（Sam Altman）：他总结的成功经验（如“复利”、“专注”、“努力工作”）可能只适用于他自己。他认为，大多数人通过“忽略建议”（ignoring advice）反而能更好地找到自己的道路。