EP 55. 对话UCSD副教授苏昊:从学术到创业,深度解读具身智能的实现路径
Manage episode 423337034 series 3373195
这次依旧是硬核话题,我们跟学术大牛深度聊聊2024年上半年美国创投圈最火的的话题之一,具身智能。
没错,智能机器人之火终于从国内来到美国了。在去年下半年的时候,美国创投界还是在关注大模型和应用、infra等等,虽然Deepmind RT-2 等工作彼时已经崭露头角,更喜欢软件的美国VC似乎还在犹豫机器人这个太硬的赛道。但是从今年上半年开始,事情似乎有了变化。
Hello World, who is OnBoard!?
除了Figure AI 这样的人形机器人公司获得了英伟达、微软等一系列战投的加持,硅谷的老牌基金们也疯狂涌入了所谓的机器人大模型公司,比如学术大牛创立的 Physical intelligence, Skild, 还有 Cruise 前CEO 创立的Bot company, 等等。
这次的嘉宾也是大名鼎鼎,UCSD 计算机科学副教授,苏昊老师,关注具身智能和3D视觉领域的同学应该都不陌生。他参与的一系列AI数据集和软件工作,从ImageNet到ShapeNet、PointNet、SAPIEN,以及最近的ManiSkill等等,都是三维视觉、机器人操作等领域穿越几个时代的标志性作品。苏昊老师现在还是智能机器人创业公司Hillbot 的联合创始人,我们深度探讨了:
- 过去一年,我们从学术界、工业界讨论的种种话题,又有了哪些新的进展?
- 大模型的发展如何影响具身智能的不同技术路径?
- 大模型带来的泛化能力,跟硬件、控制系统等,又会怎样相互作用?
- 机器人模型里的数据问题,有哪些解决方案?
具身智能这个看似很纷繁的话题,苏昊老师总是能抽丝剥茧,相信你们也能从我们两个多小时的交流中,受益匪浅。Enjoy!
对了!今年年初,Onboard 就发布过一期关于具身智能的讨论,嘉宾包括了 Deepmind Robotics,高仙机器人和UCSD 的不同视角的重磅嘉宾。那一期讨论也非常精彩,建议大家回去复习哈!
嘉宾介绍
苏昊 (Twitter @HaoSuLabUCSD),UC San Diego Associate Professor,Hillbot智能机器人初创公司创始人、CTO。Stanford PhD, UCSD 具身智能实验室主任,数据科学研究所创始成员,以及视觉计算中心和情境机器人研究所成员。他的研究工作集中在开发算法来模拟、理解并与物理世界互动。
OnBoard! 主持:Monica, 美元VC投资人,前 AWS 硅谷团队+ AI 创业公司打工人,公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻:莫妮卡同学
我们都聊了什么
03:04 苏昊的学术历程,为什么最近觉得有关证明的研究进展对机器人领域很有启发?
10:05 从智能演化的角度,理解“具身智能”这个“老概念”
15:01 为什么从语言而不是视觉上最先看到了接近人类的智能?
21:31 实现具身智能有哪些主流的路线?如何理解不同路径不同切入点背后的逻辑?
32:10 可以通过大模型的能力实现运动控制吗?有泛化性的控制数据要怎么采集?
38:26 演示学习 (learning from demonstration) 有哪些不同路径?ALOHA这类遥操作有什么利弊?
47:00 规划和执行需要一起做训练吗?做一个端到端的系统核心难点在哪里?
51:15 划重点:好的算法的本质就是降低对数据的需求
52:23 针对机器人的大模型会跟LLM架构有什么异同?
59:31 人形机器人可以解决数据和能力泛化的问题吗?
66:16 模拟器能解决训练数据的问题吗?近年来模拟器相关技术有什么关键进展?
78:31 AI生成3D,Sora 等新技术进展对实现 sim2real 路径有什么影响?
95:26 苏昊老师现在的创业项目 Hillbot
100:32 快问快答:推荐的书,影响最大的人,具身智能被高估和低估的话题,如何解压!
重点词汇和公司
- Boston Dynamics
- PI (Physical Intelligence)
- OpenAI DALL-E 3
- SAPIEN: A SimulAted Part-based Interactive ENvironment
- ManiSkill: a powerful unified framework for robot simulation and training powered by SAPIEN.
- Google Deepmind RT-1: Robotics Transformer for real-world control at scale
- Google Deepmind RT-2: New model translates vision and language into action, Paper
- Google Deepmind Open X-Embodiment: Robotic Learning Datasets and RT-X Models, Paper
- ALOHA: A Low-cost Open-source Hardware System for Bimanual Teleoperation
- Mobile ALOHA: a low-cost and whole-body teleoperation system for data collection.
- Behavior Colony:行为克隆
- Learning from Demonstration:示范学习
- Meta AI Habitat: A Platform for Embodied AI Research
- AI2: The Allen Institute for Artificial Intelligence
- Segment Anything Model (SAM): a new AI model from Meta AI that can "cut out" any object, in any image, with a single click
- robot-VILA: Look Before You Leap: Unveiling the Power of GPT-4V in Robotic Vision-Language Planning
- CoPa: General Robotic Manipulation through Spatial Constraints of Parts with Foundational Model
- ImageNet: image database organized according to the WordNet hierarchy
参考文章
- EP 44.【AI年终特辑3】具身智能深度对话:从学术到产业,机器人的ChatGPT时刻来了吗? - OnBoard! | 小宇宙
- Debate: Is Scaling Enough to Deploy General Purpose Robots @CoRL2023
- 解密机器人大模型RFM-1:Covariant创始人陈曦专访
- 对话高阳:具身大模型框架ViLa+CoPa
欢迎关注M小姐的微信公众号,了解更多中美软件、AI与创业投资的干货内容!
M小姐研习录 (ID: MissMStudy)
欢迎在评论区留下你的思考,与听友们互动。喜欢 OnBoard! 的话,也可以点击打赏,请我们喝一杯咖啡!如果你用 Apple Podcasts 收听,也请给我们一个五星好评,这对我们非常重要。
最后!快来加入Onboard!听友群,结识到高质量的听友们,我们还会组织线下主题聚会,开放实时旁听播客录制,嘉宾互动等新的尝试。添加任意一位小助手微信,onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来!
16 Episoden