这篇播客里,OpenAI的联合创始人Greg Brockman聊了他们的使命:做出安全、友好的通用人工智能(AGI),让全人类受益。他特别强调,数字世界比物理世界厉害得多——你写个程序,全世界都能用,而造个东西却慢得多。他觉得AGI能帮我们读遍所有科学文献、找到治病方法、清理海洋垃圾,但大家老担心它干坏事。他提到OpenAI自己(他们设计了一种“有限利润”公司,赚的钱大部分归社会)、GPT-2(他们没敢全发布,怕被滥用),还有Dota AI(在游戏里练出了超强能力,能对付没见过的对手)。
Greg Brockman,OpenAI联合创始人兼CTO,在Lex Fridman播客中探讨了OpenAI的使命:开发安全、友好的通用人工智能(AGI),以造福人类。核心观点是,数字世界相比物理世界具有巨大杠杆效应,单个个体通过编程可影响全球,而物理世界迭代速度慢。Brockman将人类视为信息处理系统,认为计算机是史上最具变革性的创新。他分享个人经历,从数学转向编程,因朋友指出无博士学位而放弃编写化学教科书,转而通过网站推广想法。重要结论强调,OpenAI不仅发布算法、工具和数据集,更催化关于AGI未来的公共讨论。
Greg Brockman,OpenAI联合创始人兼CTO,在Lex Fridman播客中探讨了OpenAI的使命:开发安全、友好的通用人工智能(AGI),以造福人类。核心观点是,数字世界相比物理世界具有巨大杠杆效应,单个个体通过编程可影响全球,而物理世界迭代速度慢。 Brockman将人类视为信息处理系统,认为计算机是史上最具变革性的创新。他分享个人经历,从数学转向编程,因朋友指出无博士学位而放弃编写化学教科书,转而通过网站推广想法。重要结论强调,OpenAI不仅发布算法、工具和数据集,更催化关于AGI未来的公共讨论。
Brockman认为,数字世界的核心优势在于迭代速度和杠杆效应。 他对比了数学、编程与物理世界的差异:数学证明虽为真理,但只有少数人阅读;编程则不同,程序一旦写好,任何人都能受益,且可扩展至全球。他回忆自己曾想成为数学家,后因朋友指出“没有博士学位无法出版化学教科书”而转向编程,通过网站推广想法。
Brockman进一步提出“技术决定论”视角:创新并非完全由个人驱动,而是所有人站在“同一批巨人的肩膀上”。他引用电话在同一天被两人发明、爱因斯坦若未出生相对论也会被他人发现等例子,论证“你无法指望创造别人永远想不到的东西”。 他认为,真正的自由度在于“设定技术诞生时的初始条件”,并以互联网为例——它由一群重视开放、连接的学术群体创建,这一初始条件决定了互联网未来40年的发展轨迹。他同样提到Wikipedia无广告的决策,认为这是初始条件决定长期结果的典型案例。
Brockman强调,AGI的正面潜力常被忽视,而OpenAI的使命是确保AGI造福全人类。 他设想AGI可阅读全部科学文献、寻找疾病疗法、创造物质丰裕、清理环境——例如发明可生物降解的微型机器人将海洋垃圾转化为无害分子。他承认,人们更容易关注负面可能性,因为“破坏只需一个错误,创造需要做对许多事”。
关于技术安全,Brockman持乐观态度。 他指出,许多人认为“写下人类想要什么”是不可能的,但AI已能学习人类无法明确指定的规则(如图像识别中的猫狗区分)。OpenAI的安全团队正通过数据学习人类偏好,早期概念验证结果令人鼓舞。他类比人类婴儿的成长:婴儿通过数据和反馈学会价值观,AI也可通过类似方式实现价值对齐。
Brockman详细解释了OpenAI LP(有限利润公司)的创建逻辑。 他承认,作为非营利组织无法筹集所需的数十亿美元资金,而现有法律结构均不匹配其使命。经过约一年的讨论,团队制定了《OpenAI章程》,核心原则是“最小化与使命的利益冲突”。
OpenAI LP的关键设计是“利润上限”: 若成功构建AGI(史上最具变革性的技术),投资者只能获得封顶回报,而AGI创造的绝大部分价值将归属于非营利实体,用于造福世界。Brockman强调,公司对章程负有信托责任,而非仅对股东负责。他对比了非营利与营利组织的优劣:非营利“太纯粹但难以成事”,营利“容易过度但若引导得当可产生巨大正面影响”,OpenAI LP选择了中间道路。
Brockman承认,这一结构面临内部张力: 一方面需要竞争心态以执行艰难愿景,另一方面需保持开放——若其他团队先实现安全AGI,OpenAI愿意合作而非竞争。他特别指出,在AGI开发后期,应避免“安全竞赛”——即各方为抢先而牺牲安全。OpenAI承诺,若他人领先,将协助其成功而非试图超越。
Brockman解释了OpenAI决定不完整发布GPT-2模型的考量。 GPT-2是2018年6月发布模型的规模化版本,能生成连贯的散文。内部讨论中,支持与反对发布的理由势均力敌,Brockman认为“当利弊不明确时,应默认谨慎”。他类比安全社区的“负责任的披露”机制——AI领域尚无类似概念,GPT-2的决策是一次测试案例。
关于负面应用,Brockman列举了生成虚假新闻、滥用内容等风险。 他承认,GPT-2训练自互联网数据,包含偏见和冒犯性内容。正面应用包括创意写作(如科幻小说辅助)和NLP研究。
Brockman认为,区分人类与AI内容“最终是一场必败之战”。 他引用验证码(CAPTCHA)的演变:从简单图像扭曲到如今人类都难以识别,说明AI能力提升使传统鉴别方法失效。他提出替代方案:将真实世界身份与数字身份绑定,建立声誉网络。但他也承认,这涉及隐私与匿名性的权衡。他预测,未来互联网将充满AI代理,问题不再是“与人类还是AI互动”,而是“是否被欺骗”——只要AI不伪装成人类,与AI的有意义互动(如电影《Her》所示)可能是可接受的。
Brockman认为,深度学习成功的三大核心属性是:通用性、能力和可扩展性。 他指出,少量工具(SGD、深度神经网络、强化学习)解决了从语音识别到游戏对战的广泛问题;这些系统在多数任务上超越了过去40年的专门研究;且规模越大、数据越多、计算越多,效果越好。他引用Rich Sutton的博客文章,同意“利用计算的通用方法最终会胜出”,但强调算法创新同样重要。
关于推理,Brockman认为这是当前系统的关键缺失。 他新组建了“推理团队”,目标是让神经网络具备推理能力。他区分了语言模型与推理的本质差异:GPT-2在运行时仅做一次前向传播,而人类思考涉及“可变计算量”——想得越久,答案越好。他推测,实现推理可能需要改变系统的“类型签名”,例如生成一系列思考步骤并仅保留最终结果。
Brockman以Dota项目为例说明规模化的意外效果: OpenAI 5使用PPO算法(由OpenAI研究员John Schulman创建),在约10万CPU核心和数百GPU上训练,每天相当于数百年的游戏经验。结果出现了小规模测试中未见的“分布外泛化”能力——机器人能应对从未见过的对手风格。他类比昆虫智能:昆虫通过长期进化适应环境,虽不能学微积分,但能出色地导航和应对意外。
| 标的 | 嘉宾态度 | 关键数据 |
|---|---|---|
| OpenAI(自身) | 看好(使命驱动) | 2015年成立;OpenAI LP于2019年创建;计划筹集数十亿美元 |
| GPT-2 | 审慎(部分发布) | 2018年6月模型规模化版本;未发布完整模型 |
| Dota AI(OpenAI Five) | 看好(技术验证) | 1v1击败世界冠军;5v5在TI赛事中失利但两周后胜率提升至80%;训练使用约10万CPU核心+数百GPU |
| 机器人系统Dactyl | 看好(模拟到现实) | 使用Dota系统在模拟中训练,成功迁移至物理机器人 |
1. Brockman认为创新的真正自由度在于设定初始条件,而非发明全新事物。 支撑:电话在同一天被两人发明;爱因斯坦若未出生,相对论也会在20年内被他人发现;互联网的开放初始条件决定了其40年发展轨迹。
2. OpenAI LP的利润上限设计确保AGI创造的价值归世界所有。 支撑:投资者回报封顶,AGI创造的“天文数字”价值中仅一小部分用于回报,其余归属非营利实体。
3. Brockman认为区分人类与AI内容“最终是一场必败之战”。 支撑:验证码从简单扭曲到如今人类都难以识别,说明AI能力提升使传统鉴别方法失效;未来应转向身份认证和声誉网络。
4. 深度学习成功的三大属性:通用性、能力和可扩展性。 支撑:少量工具解决广泛问题;多数任务上超越专门研究;规模越大效果越好——这是AGI可实现的希望所在。
5. Brockman认为推理需要改变系统的“类型签名”。 支撑:GPT-2运行时仅做一次前向传播,而人类思考涉及可变计算量;可能需要生成一系列思考步骤并仅保留最终结果。
6. PPO算法在Dota项目中展现出小规模测试中未见的分布外泛化能力。 支撑:研究员John Schulman本人表示“没想到它能做到”;机器人能应对从未见过的对手风格,类比昆虫通过长期进化适应环境。
7. Brockman认为AGI的正面潜力常被忽视,包括疾病疗法、环境清理等。 支撑:设想AGI可阅读全部科学文献、发明可生物降解机器人将海洋垃圾转化为无害分子。
8. Brockman认为AI系统可能具备某种形式的意识。 支撑:若意识是“方便的计算捷径”——帮助生物避免痛苦、寻求食物——那么真正有能力的强化学习代理也可能具备意识;但这是“大假设”,难以确知。