← 返回列表
Lex Fridman Podcast播客20 Feb 2020来源: lexfridman.com主持: Lex Fridman

#73 – Andrew Ng: Deep Learning, Education, and Real-World AI

一句话导读

这篇是吴恩达(Andrew Ng)的深度访谈,核心观点是:AI 的真正难点不是算法,而是把模型从实验室搬到现实工厂。他认为,机器学习只占整个系统的 5%,剩下 95% 是数据清理、系统集成这些“脏活累活”。他看好制造业、农业等传统行业的 AI 落地,但提醒小数据和环境变化(比如工厂砍了棵树导致光照改变)会让算法失效。提到的重点:Landing AI(他创立的公司,正在解决工厂质检的标注不一致问题)、Google Brain(他早期项目,从语音识别起步逐步扩展)、Coursera(在线教育平台,他的机器学习课至今很火)。

AI 摘要AI 生成 · 可能有误 · 以原文为准

Andrew Ng在Lex Fridman播客中讨论了深度学习、AI教育及现实应用。作为Coursera、Google Brain、deeplearning.ai、Landing.ai和AI Fund的联合创始人,以及Baidu前首席科学家,他强调了AI教育对数百万人的影响。核心观点是:AI技术正从学术研究转向实际产业应用,教育是推动这一转型的关键。重要结论包括:深度学习在医疗、自动驾驶等领域潜力巨大,但需解决数据稀缺和模型泛化问题;通过Coursera和deeplearning.ai,他已帮助数百万学生入门AI,未来应继续降低学习门槛。Ng还提到,AI发展早期阶段(如比特币诞生仅10年),需

全文约 13 分钟 · 8 个章节
深度解读

本期速览

Andrew Ng(Coursera、Google Brain、deeplearning.ai、Landing AI、AI Fund 联合创始人,前百度首席科学家)与 Lex Fridman 深度对话,回顾其从斯坦福教授到 AI 教育先驱再到创业者的历程。核心判断:AI 的真正瓶颈不在算法创新,而在于从 Jupyter notebook 到生产部署之间的巨大鸿沟——机器学习模型仅占整个系统的 5%,其余 95% 是数据工程、系统集成与变更管理,而学术界几乎不讨论这些问题。


主题一:AI 教育的规模化——从斯坦福教室到百万学习者

Andrew Ng 认为,在线教育的成功密码是「以学习者为中心」的单一原则,而非技术炫技。

Ng 回忆,在斯坦福教机器学习时每年仅覆盖约 400 名学生,却要每年重录相同视频、讲相同笑话。他意识到:「为什么不直接用去年的视频,把时间花在建立更深的学生关系上?」 这一思考催生了首批 MOOC(大规模开放在线课程),后来演变为 Coursera。

早期课程录制条件简陋——多数视频在晚上 10 点到凌晨 3 点之间拍摄,使用 Logitech 网络摄像头和 Wacom 手写板。「当时已有约 10 万人报名,我们却还没开始写代码、没拍视频。」 支撑他坚持的动力是「帮助 10 万人学习机器学习」的信念。

Ng 强调,团队从一开始就确立了「做对学习者最有利的事」的基石原则。他观察到,有些讲师倾向于在课程中推销自己的研究以增加论文引用,但「我们刻意忽略这些,只关注如何让概念更清晰」。这一原则被证明是 MOOC 运动崛起的关键。

> 「如果我要教的东西成功了,能显著帮助他人吗?如果不能,那就继续寻找别的事情做。」(意即:这是 Ng 衡量工作价值的核心标准)


主题二:规模的力量——从被质疑到成为共识

Ng 指出,深度学习早期最大的正确判断是「规模带来性能」,而最大的错误判断是「过早押注无监督学习」。

2.1 规模:被同行视为「疯狂」的赌注

Ng 回忆,Adam Coates 在斯坦福的实验中绘制了一张图表——横轴是模型规模,纵轴是准确率,曲线持续向右上方延伸。正是这张图给了他信念:把模型规模推到远超当时 CPU 能承载的程度,性能会继续提升。

这一直觉在当时极具争议。「一些善意的资深机器学习同行私下劝我:『Andrew,你为什么要这么做?这太疯狂了。看看那些神经架构……你只想追求规模?这是糟糕的职业选择。』」 但 Ng 坚持认为,「如果你想取得突破,有时必须在它流行之前就有信念并付诸行动。」 这一信念最终促成了 Google Brain 项目的启动。

2.2 无监督学习:被高估的方向

Ng 坦承,早期 Google Brain 团队在无监督学习上投入了大量精力,这源于一个看似合理的直觉——Geoff Hinton 曾在餐巾纸上画出的论证:人脑约有 10¹⁴ 个突触连接,人一生约 10⁹ 秒,因此每秒需学习约 10⁵ 比特信息。但 Ng 一岁的女儿显然没有接受每秒 10⁵ 比特的标注数据。「所以,我们学到的绝大多数东西不可能来自监督学习。」

这一论证曾让 Ng 深信无监督学习是前进方向。「那部分我们确实搞错了——至少在当时。」 他仍然认为无监督学习很重要,但过去十年监督学习的惊人进展让团队「分心」了。

2.3 当前判断:两者都需要

对于「更大数据集 vs. 更好算法」的争论,Ng 认为两者都重要且问题依赖。对于某些数据集,我们可能已接近贝叶斯误差率或超越人类水平;但对于许多问题,即使没有进一步的算法创新,更大的数据集配合神经网络也足以推动进步。 同时,Transformer 等架构创新与规模效应共同促成了 GPT-2 和 BERT 的突破。


主题三:从 Jupyter notebook 到工厂——AI 落地的真实挑战

Ng 认为,AI 在消费互联网之外的最大机会在制造业、农业、医疗等领域,但这些场景面临的根本问题是「小数据」和「环境变化」,而非算法精度。

3.1 小数据困境

在制造业的视觉检测场景中,Ng 团队经常遇到:同一塑料部件,上午的质检员说「明显是缺陷」,下午的同一人说「明显没问题」;不同质检员之间也意见不一。 对于拥有 1 亿用户的互联网公司,取平均即可;但对于只有 100 个缺陷样本的工厂,10% 的标注错误就会产生巨大影响。「如何清理这些数据?这才是我们每天在解决的问题。」

3.2 部署环境的不可控性

Ng 列举了一个真实案例:一家工厂的鸟飞过并在设备上排便,导致环境变化,算法失效。 更常见的是工厂砍掉了窗外的树,光照条件改变,测试集分布与训练集分布出现显著差异。「学术界对测试集分布大幅偏离训练集分布的情况几乎没有好的处理方法——领域自适应、迁移学习等研究还在进行中,我们真的不擅长这个。」

3.3 系统工程的 95%

Ng 强调一个被严重低估的事实:在完整的软件系统中,机器学习模型可能只占 5% 甚至更少的代码量。 其余 95% 涉及数据管道、系统集成、变更管理、运维等。「机器学习人员说『我的算法在测试集上表现很好』,业务人员说『你的算法很烂,根本不能用』——这中间的鸿沟就是那 95%。」

此外,工厂场景下没有 20 个机器学习工程师待命修复故障。「当语音识别系统宕机时,我可以叫 20 个工程师来修;但在工厂,谁来维护?MLOps 的概念我们还在边做边发明。」

3.4 起步策略:从小处着手

Ng 以 Google Brain 的早期经历为例:第一个内部客户是 Google 语音团队(并非最赚钱的项目),第二个是 Google Maps 团队,直到两次成功后才与 Google Ads 团队展开严肃对话。 他观察到「更多公司因起步太大而失败,而非因起步太小」。小项目帮助团队建立信心,同时也让团队学会关键技术——比如第一台 GPU 服务器放在某位工程师的桌子底下,团队从中学会了多用户共享 GPU 的方法,这为后来的大规模部署奠定了基础。


主题四:AI 的短期风险与长期叙事

Ng 认为,当前 AI 领域最紧迫的问题不是 AGI 对齐或「回形针问题」,而是偏见、财富不平等、就业替代和深度伪造等现实挑战。

4.1 对 AGI 风险的看法

Ng 表示希望人类最终能实现 AGI,但「是 100 年、500 年还是 5000 年,我很难估计」。他类比道:「我确实担心火星上的人口过剩和污染问题——只是不是今天。」

4.2 短期风险才是真问题

Ng 明确指出,关于 AGI 对齐和「回形针最大化」的讨论「是对我们今天真正需要解决的更难问题的巨大干扰」。他列举了四个紧迫问题:

  • 偏见:AI 系统可能放大社会偏见
  • 财富不平等:AI 和互联网加速了权力集中,互联网行业「赢家通吃」的动力学正在感染所有行业——「看看 Uber 和 Lyft 对出租车行业做了什么」
  • 就业替代:教育是解决方案的一部分,但可能还不够
  • 深度伪造等恶意使用

Ng 还指出一个现实困境:当监管者或公司要求你解决产品带来的实际问题时,修复它可能影响收入——「跟他们讨论『我承诺不会毁灭人类』比面对真正棘手的问题要有趣得多。」


主题五:创业与职业建议——人比 logo 重要

Ng 认为,影响职业体验的最关键因素不是公司品牌,而是每天与你互动的 10-30 个人。

5.1 选择团队而非公司

「重要的是你每天与哪 10 个人、哪 30 个人互动。我们都是社会动物,会变得像周围的人。如果你与优秀的人一起工作,你会学得更快。」 Ng 建议求职者坚持询问「我的经理是谁?我的同事是谁?」——「如果一家公司拒绝告诉你,那可能意味着他们没有好的答案。」

5.2 AI 创业:客户至上

Ng 认为硅谷创业失败的首要原因是「构建了没人想要的产品」。他主张极度以结果为导向、以客户为中心——「最终,我们无权投票决定成败,只有客户有投票权。」 同时强调只做能创造社会价值的事:「我不想仅仅为了卖更多广告而构建令人上瘾的数字产品。」

5.3 AI Fund 的运作逻辑

AI Fund 是一个「创业工作室」(startup studio),系统性地从零创建 AI 初创公司。Ng 发现,「创业对大多数创始人来说是极其孤独的」——从 B2B 销售到机器学习项目的关键决策,数百个决策中的几个错误就可能决定公司命运。AI Fund 提供支持结构,帮助创始人在关键时刻做出更好决策。


提及的标的

标的 嘉宾态度 关键数据
制造业视觉检测(Landing AI 业务) 看好,正在解决实际部署问题 缺陷样本可能只有 100 个;标注错误率可达 10%
Google Brain(历史项目) 回顾性肯定 第一个 GPU 服务器放在工程师桌下;从语音→Maps→Ads 逐步扩展
Coursera 肯定其教育影响力 机器学习课程至今仍是 Coursera 最受欢迎课程之一
deeplearning.ai 深度学习专项课程 推荐作为入门路径 官方时长 16 周,有人 1 个月内完成
自监督学习(通用研究方向) 看好长期潜力 旋转图像预测角度、拼图重排、CPC 目标函数等
强化学习(通用研究方向) 中性,认为尚未大规模落地 「在 NeurIPS 上,资深研究者之间也很难举出真正部署的 RL 应用案例」

值得记住的判断

1. 「机器学习模型只占整个系统的 5%,其余 95% 是数据工程、系统集成和变更管理。」(Andrew Ng)——这是从 Jupyter notebook 到生产部署之间巨大鸿沟的根本原因,学术界几乎不讨论这 95%。

2. 「更多公司因起步太大而失败,而非因起步太小。」(Andrew Ng)——Google Brain 从语音团队(非核心业务)起步,两次小成功后才进入广告团队;工厂 AI 部署也应从最小可行项目开始。

3. 「关于 AGI 对齐和回形针问题的讨论,是对我们今天真正需要解决的更难问题的巨大干扰。」(Andrew Ng)——当前紧迫问题包括偏见、财富不平等、就业替代和深度伪造,而非遥远的 AGI 风险。

4. 「影响职业体验的最关键因素不是公司 logo,而是每天与你互动的 10-30 个人。」(Andrew Ng)——建议求职者坚持询问经理和同事是谁,拒绝回答的公司可能没有好答案。

5. 「自监督学习是生成无限标注数据的一种方式——旋转图像预测角度、拼图重排、CPC 目标函数——这是无监督学习中正在获得 traction 的一块。」(Andrew Ng)——虽然过去十年监督学习「分心」了,但 Ng 认为如果只做学术研究,他会把所有时间投入无监督学习。

6. 「同一塑料部件,上午的质检员说『明显是缺陷』,下午的同一人说『明显没问题』——这就是 AI 团队在制造业面对的现实。」(Andrew Ng)——小数据场景下,标注不一致会严重影响模型质量,这是学术界很少讨论的「脏数据」问题。

7. 「如果你要教的东西成功了,能显著帮助他人吗?如果不能,那就继续寻找别的事情做。」(Andrew Ng)——这是 Ng 衡量工作价值的核心标准,也是他拒绝一个「会让人们看更多非教育类视频」的创业想法的原因。

8. 「深度学习早期,我被善意地劝阻:『Andrew,你为什么要追求规模?这是糟糕的职业选择。』」(Andrew Ng)——Adam Coates 那张「规模→准确率」的图表给了 Ng 信念,最终促成 Google Brain——突破往往发生在流行之前。