作者丨邓哲敏
编辑丨齐铖湧
2009 年，曹婷赴澳洲读博，师从编程语言与系统领域的两位顶尖学者，研究非对称多核处理器与 Java 这类托管语言之间功耗与性能的权衡。博士期间所著论文入选 CACM 研究亮点，图灵奖得主大卫·帕特森专门撰文推荐，并收录进自己的经典教材《计算机体系结构：量化研究方法》。
值得一提的是一篇发表在 ISCA 的论文：The Yin and Yang of Power and Performance for Asymmetric Hardware and Managed Software，其论证近乎诗意：虚拟机的垃圾回收、即时编译这些额外开销，恰好是可以卸到小核上去跑的差异负载，用小核的“阳”，去补虚拟机开销的“阴”；反过来，非对称硬件暴露出来的复杂性，又正好被托管语言的抽象所化解。
在我们看来，这段经历埋下了影响曹婷学术生涯的东西：一个关于阴阳的直觉——约束，从不只是限制，它也可以是逼出系统生机的起点。
博士毕业后，曹婷来到华为编译器与编程语言实验室，负责方舟编译器的内存管理，在有限的内存里，让程序跑得更快更省。2018 年，她加入微软亚洲研究院（MSRA）异构计算组，一待就是七年，做端侧 AI 推理，把几十亿参数的神经网络，塞进手机、PC 和 IoT 设备，让它们不靠云端，在本地的算力、功耗和存储里跑起来。低比特量化、LUT 查表推理、存算一体加速器，这些技术进入微软 Office、Windows、Bing，服务百万级用户。
2025 年夏天，曹婷加入清华 AIR。这一次，横在她面前的是更凶险的约束：训练数据极度匮乏、物理环境千变万化的现实。她很快发现，机器人在固定设置下能做对动作，环境稍有变化就失败，而那些失败里藏着的宝贵信息，又被传统系统随手丢掉。具身智能已经能做 Demo，却迟迟无法真正部署。
曹婷的答案，还是“阴阳”，既然约束无法穷举，那就把约束变成养分。当年 10 月，她和 MSRA 时期的老搭档、清华 AIR 副院长刘云新教授共同发起域变换（Z-Trans），押注具身自进化，并陆续发布 Z0、Zeva、Zeva Ego、Zetta、Z-infra 等工作。
从让软件在异构硬件上省功耗，到让模型在边缘设备上省算力，再到让智能在物理世界里学会自进化，曹婷这十几年做的始终是同一件事：让智能在条件不充分的情况下好好工作。
以下是AI科技评论与曹婷的对话，在不改变原意的基础上有所编辑。
01
当机器人工厂慢慢冷下来
“整体的技术范式没有收敛，而且变化特别快，基本每个月都不一样，但一个离线、一个在线这套学习范式，应该是大家统一认可的。”
▎AI科技评论：今年上半年，整个行业还在疯狂建机器人数采工厂，试图用海量数据大力出奇迹。但到了下半年，陆续出现了许多具身上下文学习的工作，是前序研究证明了什么吗？
曹婷：我自己的体会非常深刻。今年 5 月份之前，大家还相信“离线训一个模型，它在线就能干活”，但现在看，这些数采工厂基本都冷掉了。
大家发现，离线数据采得再多，机器人在线依然干不成活，因为离线数据永远涵盖不到真实世界的全部情况。
看到之前的路走不通，大家才开始思考怎样让机器人不只依赖离线训练，还能在部署后利用新的示范和反馈进行在线的上下文学习。
▎AI科技评论：大家在技术上达成共识了吗？
曹婷：整体上学习范式分两种：一种 offline，一种 online。
在上下文中学习这个概念最早是从大语言模型（LLM）出来的，GPT 证明了上下文示例即可泛化。具身领域，大家也希望在上下文阶段给机器人演示一遍，它就能泛化到各种各样的情形。目前整体的技术范式没有收敛，而且变化特别快，基本每个月都不一样，但一个离线、一个在线这套学习范式，应该是大家统一认可的。
▎AI科技评论：大语言模型的 ICL 是靠涌现的，给几个文本例子它就会了。你能不能帮大家梳理一下，具身的ICL有什么不一样，目前具身 ICL 的工作有哪些路线？
曹婷：具身领域的 ICL 远比语言模型复杂，目前行业里有三条不同的路线。
第一种期待像 LLM 一样，能力自己涌现出来。比如 Generalist 说他们的能力是涌现出来的，训练时见过很多人类视频、很多 ego 数据，之后给它一段视频，它就能自己去干活。但我觉得这条路比较困难，背后可能有不少限制条件。
第二种是显式训练，类似Skild，给它一段视频，让它去预测下一条 action。这不是模型自己涌现的，而是训练时就这么训的。就跟之前的 VLA 一样，之前是 language 做 prompt、action 做输出，现在是 video 做 prompt、action 做输出。
我们的路线是第三种，叫 ICCL（in-context causal learning，上下文因果学习）。我们认为直接把 video 给模型，让它去生成 action，这很困难，因为视频里可能有移动的人、有无关物体、有反光，很难让模型从这堆噪声里提炼出有效的动作信息。
▎AI科技评论：你们的做法是把这些噪声全扔掉？
曹婷：对，我们加了一个动作-效果提取模块，减少无关视觉变化的干扰，只把动作和它产生的效果加到上下文里。从我们自己观察来看，目前这个方法比其他模型的泛化性都好，尤其背景特别复杂的时候。
▎AI科技评论：如果 ICL 这条路真的能跑通，后训练的工作是不是没太大意义了？
曹婷：这需要分开看。ICL的强项是极度灵活的泛化，没见过的任务，人做一次它就知道该咋做了，更适合家庭这种对泛化性要求特别高的场景。
但在工厂生产线上，工厂在乎的是精度和延迟，客户要求的是 99% 甚至更高的精度，目前 ICL 还远达不到这个水平，比如 Skild 报告，在未见过的任务里，ICL 步骤成功率也就 60% 多。所以，在没有那么频繁变化的柔性工业生产场景，稍微采几百条数据给它后训练一下，依然是保证精度最经济、最可靠的方法。
家庭靠 ICL 泛化，工厂靠后训练求稳，这是完全不同的两条逻辑。
02
何谓因果
“模型是 data-driven 的，是从大量数据里学会规律，涌现出能力。”
▎AI科技评论：前面提到你们的路线里有一个提取动作和效果的技术，这是你们的技术核心吗？
曹婷：对的。我们最开始做的是 Zeva，当时基于 Cosmos 。但我们的技术其实不挑基模，World Model、VLA 都能用。后面又发了 Zeva-Ego，就是基于 VLA 用 Ego 数据做的中训练。
这两个工作是一脉相承的：Zeva 强调上下文因果学习，它有一个动作提取器，可以在线地提炼出动作和效果，加到上下文里；Zeva Ego 从 ego 数据里提炼动作和效果，去做中训练，让泛化性有显著提升。
最本质的都是因果提取器，这是我们的核心技术。
▎AI科技评论：Zeva-Ego 用到的数据，是你们自己采的吗？
曹婷：用的是开源的数据，但我们要清洗，因为大部分不适合直接用于动作学习，最后大概只留十分之一。
我们会分两个阶段去训练因果提取器。第一阶段主要学习动作之外的环境变化，有一个专门的网络负责把动作无关的东西提炼出来。第二阶段利用第一阶段学到的环境表征，让因果提取器学会仅提取动作相关的信息。训练好以后，再拿那些没有动作标注的 ego 数据，提取动作因果，用于后续中训练。
▎AI科技评论：直接用无标注数据，那可免去不少标注的工作，能更高效地使用数据。
曹婷：是的，我们用了 10K 小时没有标注的 ego 数据，通过我们的编码器转化为动作相关的监督信号来训练模型。
▎AI科技评论：关于因果，之前世界模型那波起来的时候，很多人都出来说自己做的是因果世界模型，有人会质疑，现在还没有好的证据能证明机器人真正习得了物理规律。你们怎么向别人证明这一点？
曹婷：这个领域关于“因果”的讨论很多。我们的因果指的就是 action 和 effect：因是动作，果是产生的效果，这是直接的因果。比如让机械臂以多大力推下瓶子，瓶子究竟移动了多少。
怎么能看出它是有效的？首先，在公开评测集上 Zeva 效果更好。从实际效果来看，在背景杂乱的时候，对比业内其他模型，我们的模型学习更加高效，尝试的次数会变少。比如有的模型拿咖啡杯，试个五六次才拿起来，我们基本上一两次就能成功。
▎AI科技评论：“理解物理规律”这个说法，会让人以为是基于科学原理的理性理解，但实际上更像我们人类那种混沌的、经验性的理解？
曹婷：没错，模型是 data-driven 的，是从大量数据里学会规律，涌现出能力。你也可以直接告诉它重力原理，但它一定要自己去试。就跟小孩一样，虽然还没学过物理，也说不清楚为什么，但就是知道要怎么做，这是从大量的尝试里总结出来的经验。
我们认为最合理的一条路是：大量的预训练，加上大量的在线学习，机器人自己把规律学会。我画过一个 roadmap，机器人最终会学成一个物理学家，自己想出新的定律。
▎AI科技评论：AI for Science？
曹婷：对，未来会走到那一步。但现在它能把眼下这些事情干好，就挺不错了。
03
学习与记忆的闭环
“记忆和学习是不分家的：记了足够多的经验，能泛化去做一个没见过的新任务，这就是学习。”
AI科技评论：讲到 ICL，就免不了提到长记忆和 RSI（recursive self-improvement，递归自进化），你怎么看待这三者之间的关系？
曹婷：我之前在 AIR 内部分享过记忆和学习的关系。记忆分为几个层次。
最短的那层，是 working memory，是机器人正在执行当前任务时的上下文。然后是Source：https://www.leiphone.com/category/ai/YcIBZiMtehhzYJsR.html
