前华为小艺大模型负责人创业，押注“主动式物理AI”

想象一下。你在饭店吃饭，结账付款正准备离开时，手表突然震动并显示信息： “你的手机忘拿了，还在刚才的桌子上！” 再想象一下，你正在厨房做饭，突然家里的小机器人发出尖锐爆鸣： “小孩快从床上摔下去了！” 你一个闪身步冲回卧室，发现家崽丝毫没意识到自己已经蠕动到了床的边缘。 △图片系AI生成 让机器有“眼力见儿”，主动发现人之所需，这是唐都钰提出“主动式物理AI”这个概念时的设想。 过去几年，物理AI主要聚焦在解决“如何更好地执行人类提出的要求”这个问题。 于是机器人走得更稳了、抓得更准了、能规划得更久了……但，这一切都发生在人类的指令之后。 能不能让AI自己去发现当下要做什么，然后主动去做呢？ 华为前AI首席专家、小艺大模型前负责人唐都钰，在做了多年大模型与终端AI之后，盯上了这个方向。 于是他创办了观行数智，致力打造面向物理世界的主动式AI系统。 观行，先观世界，后行于世界。 主动式物理AI，主动在哪？ 迄今为止，物理AI开始行动的起点大多来自人类的某条具体指令。 在接到任务后，机器人开始识别环境，规划行动，再调用身体开始执行任务。 这是一条“任务链”。 △图片系AI生成 在唐都钰看来，这些物理AI是“被动式”的，即，整个任务的起点来自人类明确提出的指令。 在这里，AI主要解决的是如何完成任务（How），而不是自主判断需要做什么（What）以及何时行动（When）。 相较之下，“主动式物理AI”面对的是一条持续展开的“事件流”。 它需要持续接收来自现实环境的信息，理解其中正在发生的事件，并判断某种变化是否已经形成了需要。 在这样一套流式判断（StreamingJev）后，系统才会决定要不要介入、以什么方式介入、调用何种设备介入，以及应当在什么时候介入。 从这个角度看，“主动式物理AI”其实是向前补齐了一次完整行动链路，而非仅做链路后半部分的执行。 这样的设想并非第一次出现。 实际上，人类为了让机器更主动些，已经努力了很久。 1998年，微软研究院就做过一个叫LookOut的原型。你打开一封邮件，读到对方约你周五下午见面，它会判断你是否需要查日历或者填写日程。 △Lookout System 次年，微软研究员还系统讨论了这种「主动式交互」，希望使人和机器都可以根据情境接过主动权。 到了2000年，微软研究院对主动交互的研究也来到了现实世界：他们让摄像头追踪人的位置，当人走向一块屏幕，正在使用的电脑界面也可以随之切换过去。 △微软摄像头追踪方案 这些探索已经触及一个关键问题，即： 机器能否根据情境理解人的潜在意图，并在没有明确命令的情况下提供帮助？ 这势必是困难的。 一方面，目前智能对现实世界的干预能力滞后。 另一方面，“主动”这件事本身也非常难……提醒得早一步，很容易变成打扰和责备，出手得晚一步，帮助又没了意义。 看见需求对机器来说是第一步，更重要的是 边界 的判断和时机的把握。 毕竟在物理环境中，同一个动作可能有完全不同的含义：一个人突然倒坐在地，可能只是随性休息，也可能是突然昏厥；孩子伸手靠近水杯，可能只是主动观察，也可能是无意识将其碰倒。 尽管随着大模型能力提升，机器能够更准确地识别画面，更好地描述正在发生的事情， 但唐都钰认为，“主动做事”的能力并不会随着智能增长而涌现。 因为这还涉及到风险判断、职责边界以及行动时机，是一个需要单独去研究攻克的复杂问题。 唐都钰还向我们表示，这项能力的重要意义将在未来被显著放大。 据他判断，届时人类身边将会出现非常多的智能终端，而如果每台设备都需要等待用户逐一发出命令： “Hi，小蓝，拉开窗帘” “Hi，小红，播放音乐” “Hi，小橙，制作早餐” “Hi，小绿，清洁地面” 那么它们本质上仍是一种 需要用户主动去判断能力边界的复杂工具 。 一种更自然的人机交互，可能不再需要一句以“Hi”为开头的唤醒词。 唐都钰，从多模态大模型走进物理世界 唐都钰，此前曾任华为智能助手“小艺”多模态大模型的研发负责人，职级达到21级。 △唐都钰 此番走进物理世界做能主动理解人类需求的AI，不算太有“跨度”。 一方面，从0到1开发一个小艺大模型，并落地到数亿台终端上，意味着不仅要做模型训练，还要打通数据工程、推理部署、端云协同与终端适配的整条链路。 这些经验同样也是物理AI所要求的：把模型能力落到具体硬件，在真实环境与用户反馈中持续迭代。 另一方面， 让AI更好地理解人类 ，本就是唐都钰延续了十余年的研究兴趣。 时间拨回2015年。 彼时，唐都钰还在哈尔滨工业大学攻读博士学位，师从哈工大SCIR研究中心主任、中国中文信息学会情感计算专委会主任秦兵教授，研究的正是如何让机器理解人类情感。 同年，他凭借情感计算领域的研究成果， 入选了IBM全球博士英才计划。 而唐都钰所在的哈工大社会计算与信息检索研究中心（SCIR），也是国内自然语言处理（NLP）领域的重要研究力量。这里培养出了一批活跃于学术界和工业界的AI研究人才。 2016年博士毕业后，唐都钰进入微软亚洲研究院，继续从事人工智能研究。 在这里，他将研究领域进一步拓展至代码智能， 主导了CodeBERT、CodeGPT等相关研究。 科研之外，他还曾带着一批年轻研究者共同开展研究。 其中，就包括后来成为DeepSeek-V3、DeepSeek-R1核心贡献者之一的 郭达雅。 据唐都钰回忆，两人的科研渊源始于郭达雅本科四年级，并一直延续到其博士阶段。 目前，唐都钰的论文累计引用已超过3万次，并入选全球前2%顶尖科学家榜单的终身科学影响力名单。 在他看来，此行去取物理AI的真经，三个方面的能力缺一不可： 源头技术创新、大模型训练与终端落地，以及基于真实用户反馈的数据回流和持续迭代。 回顾过往，这或许就是他此番创业的底气。 不过，如今物理AI世界群雄并起，从VLA到世界模型，再到WAM各有拥趸，远未像LLM那般收敛。 尽管技术路线尚无定论，路线转换成本也极其高昂，但创业者 必须提前下注。 不过在唐都钰看来，这场下注并不难。 因为 AI从数据世界走向物理世界是趋势，从被动走向主动也是大趋势。 顺应趋势，所谓的“豪赌”也不过是顺势而为的必然选择。 当被问到，在一个远未收敛的领域里搞创新是否过于冒险时，唐都钰说：“我先把我认为最难、最有意义的事情做好就行了。” 创业伊始，百端待举。 技术上，主动式物理AI没有成熟的数据体系，也缺少统一的模型架构和评测标准。这意味着需要从需求定义开始，重新建立训练数据、决策模型与硬件之间的关系。 团队建设上，他们则沿着产学协同展开，与哈工大实验室保持着深度合作。 △唐都钰在中关村学院 最近，唐都钰刚多了一个新身份—— 中关村学院的老师，更具体一点，是这里的“AI模型杰出技术专家” 。 这是一所2024年刚刚成立的国家级高等教育科研机构，它的特别之处在于，这里不仅关注学术，也鼓励科研人员将技术带出实验室，尝试创业。 这恰好契合唐都钰当下的状态。 在他看来，创业与加入高校并不矛盾，只是在不同维度推动同一个长期目标。 并且，在AI进入物理世界的阶段， 很多关键突破需要学术与产业更紧密地结合。 △唐都钰朋友圈 唐都钰希望之后，一边在产业一线做出有价值的产品，一边继续探索前沿问题并培养年轻研究者。 如何让模型学点“眼力见儿”？ 主动式物理AI，虽然不至于“读空气”般察言观色，但是必须做到“心里有谱，眼里有活”。 但，现实世界并不是一段剪辑好的，需要喂给模型观测的视频。 在线性的时间流里，给出回应是偶尔，保持沉默才是常态。 为此，观行数智设计了一套双模型协同架构，ProAgent。 其中，第一部分的StreamingJev负责持续读取现实环境中的事件流，进行轻量化判断，给出“是否需要介入”的讯号，如同哨兵。 相较之下，第二部分的Response Model更像指挥员。当StreamingJev识别出需求，Response Model会进一步判断事件的性质，规划回应方式，并决定调用何种设备。 △双模型协同架构示意图 唐都钰表示 这种分工很大一部分出于现实考虑。 如果让一个大模型持续处理环境中的所有信息，不仅推理成本高，反应速度也将大幅变慢。 通过轻量模型完成前置判断，再让Response Model处理真正需要介入的事件，系统可以把更多计算资源留给关键时刻。 长期来说，唐都钰的目标是训练一个面向物理世界的原生主动智能模型。 对于这样一个模型，数据问题恐怕是关键。 显而易见，普通的互联网视频通常只记录发生内容，不会标注合适的、AI需要介入的时点。 观行数智的解法是建立一套自动化数据流程，从公开视频中提取场景变化，并将其转化为 带有推理过程的决策序列。 这些序列中，既包含应该提醒或行动的正向样本，也包含应该继续观察的监督信号。团队希望借此让模型学会区分“出现了变化”与“形成了需要”。 据透露，目前观行数智已与具身公司合作，让系统真正进入具体设备，从而补充推理过程、动作空间与执行反馈——真正在现实世界解决问题，让数据闭环。 训练之外，观行数智还重新建立了一套评测体系 ProactiveXBench ，希望评估AI从发现需求到完成介入的完整轨迹。 其中，Timing关注反应时机，Progress观察介入时长和任务状态，Outcome关注最终结果。 三个维度对应着主动式物理AI最易出错的三环节： 没赶上趟、撂挑子、白忙活。 根据团队给出的测试结果，在介入时效等特定指标上，其ProAgent模型已优于GPT-6等通用模型。 目前，团队也将这套能力首先放在了Reachy Mini机器人上，在60个案例中验证导引、警示与互动。 One More Thing 实际上，目前的人机关系尚不平衡，大部分时间，这种关系都建立在人的命令与AI的执行之上，关于“主体性”的争夺从未调和。 从这个角度看，一个能主动做出行动的物理AI也许可以打开一个新场面： 人不必完整表达每一项需求，机器能够从共同环境的变化中察觉问题，在约定的职责与权限内作出判断，并在适当的时候承担一部分责任。 这是让机器变得更具“生命感”，迈向人与AI共存的关键一步。 就像《钢铁侠》中的Jarvis。它知道用户此刻正在做什么，也知道自己应该在何时主动出击。 △《钢铁侠2》电影截图 不只是具身，未来，从家庭到汽车，千万种形态的主动式AI终端都将如此。 届时，命令的语言不再流行了，因为机器已经学会了理解，以及理解后的适时行动。 毕竟对机器而言，最终要抵达的，始终是“恰到好处”。 文中提及论文可参考： http://arxiv.org/abs/2610.16967 版权所有，未经授权不得以任何形式转载及使用，违者必究。 华为小艺 唐都钰 物理AI 程浅 扫码分享至朋友圈 相关阅读 全球首次！机器人迎战网球运动员，极限救球，摔倒光速弹起 AstraTennis时刻背后的硬核技术 具身智能 物理AI 网球 银河通用 SIGGRAPH时间检验奖揭晓：这项研究，提前十年押中了物理AI 开源项目GitHub狂揽8000+Star SIGGRAPH 时间检验奖 物理AI 香港大学 具身数据底座开卖，首发5100元：机器人训练数据有了新解法 构建全栈物理AI基础设施 五一视界 具身智能 数据生产 物理AI 2026没过完，已有480亿美元投进了物理AI 日均10亿元流入 3万台无人车之后，这家公司盯上了城市级物理AI 九识智能 无人车 物理AI 热门文章 智谱新模型，490 tokens/s！ DeepSeek服务器全球宕机！神秘Harness账号同时现身 DeepSeek Bot来了！民间版，DSH装个插件就能用 超清双2亿，掌中电影机，荣耀Magic9 系列正式发布，售价4499元起 TRAE终于把Code和Work合并了 加入我们 寻求报道 商务合作 追踪人工智能新趋势，报道科技行业新突破