#120 – François Chollet: Measures of Intelligence

好的，这是对“#120 – François Chollet: Measures of Intelligence”这一章节的分析。

本期速览

嘉宾是谷歌AI研究员、Keras框架的创建者François Chollet。本期主线围绕他2019年发表的论文《论智能的衡量》，探讨如何定义和测量机器与人类的通用智能。Chollet 的核心判断是：智能不应被定义为“技能”（你知道什么或能做什么），而应被定义为“效率”——即系统在应对全新任务时，习得新技能的速度与效率。

智能是效率，不是技能

François Chollet 认为，智能的本质是“适应新环境并获取新技能的效率”，而非技能本身。 他指出，当前AI领域普遍混淆了“智能的过程”与“过程的产物（技能）”。一个能下棋的程序只是记录了人类智能的输出，它本身在遇到象棋之外的任务时毫无价值，因此不智能。真正的智能体现在“创造新技能”的能力上。

• 历史脉络：Chollet追溯了AI研究中的两种对立观点。一是“进化心理学”观点，将心智视为一系列静态的、特化的程序（如早期AI和Minsky的工作）；二是“白板”观点，将心智视为一个空白的、从经验中吸取知识的信息海绵（如当前深度学习的主流范式）。Chollet认为这两种观点都不完整。
• 机制与数据：他引用爱因斯坦的语录“衡量智力的标准是适应变化的能力”来支持自己的观点，但更精确地将其定义为效率。他给出了一个核心类比：“不要将修路公司和某条具体的路混为一谈。一条路只能带你从A到B，但修路公司可以从任何地方修路到任何地方。” 智能是那个“修路公司”，而技能则是“路”。
• 推演与证伪：如果这个定义成立，那么衡量AI系统的标准就不应该是它在某个特定任务上的表现，而应该是它面对全新、未被预设过的任务时的学习效率。此观点可通过观察系统在完全新颖的、无法通过模式匹配或记忆来应对的情境中的表现来证伪。

对GPT-3的批判：逼近“无法预知的未来”

Chollet 对GPT-3持高度怀疑态度，认为它只是“逼真的文本生成器”，而非真正的智能。 他承认GPT-3的规模带来了令人印象深刻的能力，但明确指出其核心缺陷在于无法进行真正的推理或泛化，尤其是在面对完全新颖的情境时。

• 机制拆解：Chollet 认为GPT-3的成功源于其巨大的参数量（1750亿）和训练数据（几乎整个互联网），这使其成为一个“巨大的联想记忆”系统。他指出，GPT-3生成的文本仅受“合理性”约束，而非事实性或自洽性约束，因此很容易被诱导出相互矛盾或事实错误的陈述。
• 数据与局限：他提出一个关键论点：GPT-3 的瓶颈不是算力，而是训练数据。因为模型已经遍览了互联网，未来的提升空间有限。他预测，GPT-3的后继者会生成越来越“有上下文感知”的文本，但根本缺陷不会通过单纯扩大规模而解决，“因为它唯一的目的是合理性，除此之外没有其他约束”。
• 推演与不确定性：Chollet认为，如果要实现真正的智能，未来AI系统需要将这种“无监督学习获得的直觉知识池”与“显式的、可编程的推理程序”结合起来。他判断，只靠扩大模型规模而不改变架构，无法实现真正的泛化。

关于自动驾驶：L5 并非智能的试金石

Chollet 认为，Level 5 自动驾驶本身并不构成对通用智能的测试，因为可以通过“无限数据”或“手动工程化”来解决问题，而不需要真正的智能。 他强调，真正的智能测试不在于处理已知的“长尾分布”，而在于面对一个完全陌生的、需要即时适应的新环境。

• 数据链与竞争格局：他提及谷歌的一篇论文，表明3000万个不同的道路场景仍不足以训练一个可靠的驾驶模型。相比之下，人类在已有的知识基础上，只需要20-30小时的驾驶训练就能学会开车。这个数据对比凸显了AI与人类在泛化效率上的巨大鸿沟。
• 机制拆解：他区分了两种方法：一是“纯端到端深度学习”，这需要“近乎无限”的训练数据来覆盖所有边缘情况，效率极低；二是“工程化方法”，即利用深度学习进行感知，并结合显式的环境模型和推理。他认为后者更高效，并且即便实现了L5，也不意味着系统具备通用智能。
• 推演：要测试一个L5驾驶系统的真正智能，应该看它能否被“迁移”去学习其他任务，比如“学习驾驶商用飞机”。专家需要观察系统在掌握新任务时需要多少人类介入和训练数据，这才能衡量其“智能”。

终极测试：ARC 挑战与“开发者不可知”的泛化

Chollet 提出了“开发者不可知泛化”的概念，并设计了ARC挑战作为衡量真正智能的测试：系统必须能够应对连其创造者都无法预见的全新情况。 这比机器学习中的“鲁棒性”（应对已知的未知）和“灵活性”（应对同一任务域内的未知未知）要求更高，目标是“极端泛化”（应对任意任务域内的未知未知）。

• 机制与设计：ARC挑战的设计哲学是“使先验知识显式化”。它基于人类生而具有的“核心知识先验”，如“物体性”（Objectness）、“体性”（Agentness）、“基本几何拓扑”和“数量感”。所有任务都基于这些基础，不使用语言或外部知识，确保测试的是“流体智力”而非“晶体智力”。
• 数据与现状：ARC的测试集是保密的，以防开发者通过“破解”或“记忆”来获得高分。在Kaggle竞赛中，最好的AI系统也只能解决约20% 的测试集，而人类接近100%。这个巨大差距证明，当前AI在“极端泛化”上存在根本性缺陷。
• 推演与证伪：Chollet 认为，当AI系统能在ARC上达到人类水平时，将意味着我们已经开发出了接近人类水平的通用流体智力。他承认系统可能不会表现得像人类，但具备相似的泛化能力。他同时指出，任何系统如果能在ARC上取得高分，都证明了其“过程”的智能化，而非“输出”的固化。

提及的标的

标的	嘉宾态度	关键数据
GPT-3 (OpenAI)	风险提示（怀疑其真实智能，认为是模式匹配）	1750亿参数；训练数据为“几乎整个互联网”
特斯拉 Autopilot	风险提示（认为L5可通过无智能的方式实现，对纯端到端方法持怀疑态度）	人类需要20-30小时训练；而谷歌论文指出3000万个场景仍不足

值得记住的判断

1. 智能是效率，不是技能 (Chollet): 衡量智能的关键是系统在应对全新、未被预设过的任务时，习得新技能的效率，而非它在某个特定任务上的表现有多好。

2. GPT-3 是“逼真的文本生成器” (Chollet): 它生成的内容仅受“合理性”约束，不受事实性或自洽性约束，因此极易被诱导出错误或自相矛盾的回答。其核心缺陷无法通过单纯扩大规模解决。

3. GPT-3 的瓶颈是数据，而非算力 (Chollet): 因为其训练数据已是“整个互联网”，未来仅靠增加数据量带来的提升空间非常有限。模型更像是一个“巨大的联想记忆”，而非理解系统。

4. “修路公司”类比 (Chollet): 不要混淆“智能的过程”与“过程的产物”。一个能下棋的程序是“路”，而能让它“学习下棋”的智能体才是“修路公司”。前者不智能，后者才智能。

5. “开发者不可知泛化” (Chollet): 真正的智能测试要求系统能应对连其创造者都无法预见的新的任务或情境，这是衡量AI能力的关键分水岭。

6. 人类智能并非通用 (Chollet): 人类的认知能力虽然高度可泛化，但依然受限于“人类条件”这一特定环境。人类不能“飞”，也不能在海洋底部生存，智能并非万能。

7. 认知不是压缩 (Chollet): 尽管将智能等同于压缩（如Hutter Prize）是一个诱人的想法，但两者本质不同。认知需要对未来的不确定性进行“对冲”，保留一些看似无用但对未来可能有用的信息，这与压缩追求“最简”的目标是相悖的。

8. ARC 挑战揭示了当前AI的致命缺陷 (Chollet): 在ARC测试中，人类水平接近100%，而最好的AI系统仅解决约20%。这巨大差距表明，当前AI在需要“极端泛化”的抽象推理任务上存在根本性失败。