新智元报说念

裁剪：LRST

【新智元导读】上海交通大学询查团队提议了一种交融无东说念主机物理建模与深度学习的端到端神色，收尾了轻量、可部署、可协同的无东说念主机集群自主导航决策，其鲁棒性和天真性大幅首先现存决策。

设想一下：在未知丛林、城市废地以至拦阻密布的室内空间，一群无东说念主机像飞鸟般快速穿梭，不依赖舆图、不靠通讯、也无需崇高拓荒。这一设计，如今成为现实！

上海交通大学询查团队提议了一种交融无东说念主机物理建模与深度学习的端到端神色，该询查初度将可微分物理老师的政策到手部署到现实机器东说念主中，收尾了一套着实意旨上的「轻量、可部署、可协同」无东说念主机集群端到端自主导航决策，并在鲁棒性、天真性上大幅首先现存的决策。：

该后果已于《Nature Machine Intelligence》在线发表，其中张宇昂硕士、胡瑜、宋运龙博士为共同第一作家，邹丹平与林巍峣种植为通讯作家。

论文地址：https://www.nature.com/articles/s42256-025-01048-0

样子地址：https://henryhuyu.github.io/DiffPhysDrone_Web/

核热沈念

通衢至简

当年的无东说念主机自主导航时时依赖：

高复杂度定位与建图、轨迹筹备与生成、轨迹追踪等串联模块算法设计

崇高极重传感器+高性能CPU/GPU斟酌平台

多机间通讯或聚首筹备

高复杂度定位与建图、轨迹筹备与生成、轨迹追踪等串联模块算法设计

崇高极重传感器+高性能CPU/GPU斟酌平台

多机间通讯或聚首筹备

询查团队提议的新神色设法探索出一条簇新的门道：使用12×16超低折柳率深度图算作输入，使用仅3层CNN的超小神经网罗收尾端到端自主遨游，可部署于150元低价镶嵌式斟酌平台。

该神色毁灭了复杂无东说念主机能源学，用极简质点能源学模子，通过可微物理引擎老师端到端网罗。

最终收尾「老师一次，多机分享权重」，零通讯协同遨游！

惊艳推崇

现实全国中飞驰穿越

在单机场景中，将网罗模子部署在无东说念主机上后在不同的真实环境中进行测试，包括树林、城市公园，以及含有静态和动态拦阻的室内场景。

该网罗模子在未知复杂环境中的导航到手率高达90%，比较现存最优神色展现出更强的鲁棒性。

在真实树林环境中，无东说念主机遨游速率高达20米/秒，是基于师法学习的现存决策速率的两倍。总计测试环境均收尾zero-shot零样本迁徙。该系统无需GPS或者VIO提供定位信息即可运转，并能合乎动态拦阻物。

图1 多机遨游

多机协同场景中，将网罗模子部署到6架无东说念主机上践诺同向穿越复杂拦阻和互换位置任务。

该政策在同向穿越门洞、动态拦阻物和复杂静态拦阻物的场景中展示了极高的鲁棒性。在多机穿越门洞互换位置的实验中，展现出了无需通讯或聚首筹备的自组织行径。

图2 多机自组织互助

图3 动态避障

想路关节

镶嵌物理旨趣，无东说念主机「我方学会飞」

端到端可微仿真老师：政策网罗径直甘休无东说念主机开放，通过物理模拟器收尾反向传播。

轻量设计：整套端到端网罗参数仅2MB，可部署在150元的斟酌平台（不到GPU决策的5%老本）。

高效老师：在RTX 4090显卡上仅需2小时即可照应。

图4 低老本算力平台

老师总体框架如下图所示，通过与环境交互来老师政策网罗，在每一个时分步，政策网罗接受深度图像算作输入，并通过政策网罗输出甘休指示（推力加快度和偏航角）。

可微物理模拟器凭据甘休指示模拟无东说念主机的质点开放，进奇迹态更新：

在新的现象下不错渲染新的深度图像并斟酌代价函数。

代价函数由多个子项组成，包括速率追踪项、避障项、平滑项等。在轨迹汇集完结后，代价函数可通过链式王法（图1中红色箭头）斟酌梯度收尾反向传播，从而径直优化政策参数。

「勤俭即好意思」的老师法门

浅近模子：使用质点能源学替代复杂遨游器建模。

浅近图像：低折柳率渲染+ 显式几何建模，升迁仿真效劳。

浅近网罗：三层卷积+ GRU时序模块，工致高效。

浅近模子：使用质点能源学替代复杂遨游器建模。

浅近图像：低折柳率渲染+ 显式几何建模，升迁仿真效劳。

浅近网罗：三层卷积+ GRU时序模块，工致高效。

此外，老师流程中通过引入局部梯度衰减机制，有用贬责老师中梯度爆炸问题，让无东说念主机“专注于目下”的天真政策当然领悟。

神色对比

强化学习、师法学习，如故物理驱动？

现时具身智能的主流老师范式主要分为两类：强化学习（Reinforcement Learning, RL）与师法学习（Imitation Learning, IL）。然则，这两类神色在效劳与可彭胀性方面均存在显著瓶颈：

强化学习（如PPO） 多采取model-free 政策，完全不磋议环境或甘休对象的物理结构，其政策优化主要依赖基于采样的政策梯度测度，这不仅导致数据愚弄率极低，还严重影响老师的照应速率与踏实性。

师法学习（如Agile[Antonio et al.(2021)]）则依赖大量高质料的众人演示算作监督信号。赢得这类数据频频代价崇高，且难以障翳总计可能场景，从而影响模子的泛化才调及彭胀性。

比较之下，该询查提议的基于可微分物理模子的老师框架，有用交融了物理先验与端到端学习的上风。

通过将遨游器建模为浅近的质点系统，并镶嵌可微分仿真流程，能够径直对政策网罗的参数进行梯度反向传播，从而收尾高效、踏实且物理一致的老师流程。

询查在实验中系统对比了三种神色（PPO、Agile、本询查神色），主要论断如下：

老师效劳：在疏通硬件平台上，本神色在约2小时内即可收尾照应，老师时

远低于PPO与Agile所需的老师周期。、数据愚弄率：仅使用约10%的老师数据量，本神色在政策性能上就高出了使用全量数据的PPO+GRU决策。

照应性能：在老师流程中，本神色展现出更低的方差与更快的性能升迁，照应弧线权贵优于两类主流神色。

部署效果：在真实或近似真实的避障任务中，本神色的最终避障到手率权贵高于PPO与Agile，推崇出更强的鲁棒性与泛化才调。

这一双比终结不仅考据了“物理驱动”的有用性，也标明：当咱们为智能体提供正确老师神色时，强智能不一定需要海量数据与崇高试错。

图5 该询查神色以10%的老师数据量即向上现存思色(PPO+GRU)，照应性能远高于现存思色

图6 模子部署避障到手率对比

或隐或现

可解说性探究

尽管端到端神经网罗在自主遨游避障任务中推崇出刚劲性能，其决策流程的不透明性已经实验部署中的一大拦阻。

为此，询查东说念主员引入Grad-CAM激活图器用，对政策网罗在遨游流程中的感知提防力进行了可视化分析。

图7展示了不同遨游现象下输入的深度图（上排）过火对应的激活图（下排）。

图7 通过不雅察激活图，激活区域与最危境拦阻强筹办

不错不雅察到，网罗的高反馈区域高度聚首在遨游旅途中最可能发生碰撞的拦阻物近邻，举例树干、柱体边际。这标明，尽管老师流程中莫得显式监督这些“危境区域”，网罗已自愿学会将提防力聚首在潜在风险最大的区域上。这一终结传递出两个迤逦信息：

网罗不仅在行径层面收尾了到手避障，其感知政策本人也具有一定的结构合感性与物纠合释性；而可解说性器用也有助于咱们进一步纠合端到端政策背后的「隐性章程」。

想考与启发

大模子时期中的「小模子」

在这个险些一切时刻旅途齐奔向「大」的时期，基础模子、通用智能、Scaling Law正渐渐成为信仰。

东说念主们评论的是参数范围、数据体量、斟酌资源——仿佛智能的实验就在于“越大越好”，而“小”则成了被淡忘的标的，以至被歪曲为「不足为说念」。

然则，当然界从不盲从单一模范的好意思学。

它既滋长了东说念主类这么领有亿级神经元的聪敏生物，也赋予了果蝇、蚂蚁、蜜蜂等细小生灵以惊东说念主的活命聪敏。

它们不靠算力、不依赖高精度传感器，却能在复杂全国中作念出速即而精妙的反应。这种“活命意旨上的智能”，粗略正是咱们本日在追求「强智能」时最容易忽略的维度。

从该询查中，不错得到了三个深远的启发：

1）小模子有其存在的合感性，以至是纠合「大模子」的进口

东说念主类领悟系统复杂而雄伟，但纠合东说念主类大脑的第一步，并不是径直对东说念主脑建模，而是回到果蝇这么神经回路明晰、结构机制浅近的生物个体。从某种意旨上说，果蝇不仅不是神经科学的例外，它是神经科学的最先。

雷同趣味，小模子不是大模子的对立面，而是其结构纠合与机制玄虚的镜像反射。它们提供了一个更透明的窗口，让咱们看清决策、感知与甘休之间最实验的耦协筹办。在这项责任中，咱们用一个参数目不到2MB的小网罗，收尾了多机间无需通讯的自组织协同。这不仅是工程勤俭的告成，更是系统聪敏本源的回想。

2）不是总计智能齐必须建立在大范围数据之上

咱们在一个完全仿确凿全国中汇集数据——莫得雄伟的数据集，莫得互联网语料，也没稀有百万小时的遨游日记。

违抗，只依靠可控、可微的物理引擎，用极少任务场景与方针函数，在一个仅由浅近几何体组成的仿真环境中就老师出了能在现实全国中零样本迁徙、叮嘱复杂拦阻的袖珍基于视觉的遨游甘休政策。

这是一种反学问的后果。它请示咱们，智能的开端无谓痴呆于数据体量的竣工值，而更应关怀「结构匹配」与「机制镶嵌」。

一个着实懂物理的网罗，也许比一个背诵万卷遨游日记的网罗更可靠。

3）约略的感知，也能支抓精确的智能行径

果蝇的视觉系统由约800个浅近的复眼组成，其成像才调以至不足低配监控录像头。然则即是这么一个「低折柳率生物」，不错在高速遨游中完成复杂的空间逃匿、空中悬停与捕食等任务。精度低，并不等于智能低。

咱们也使用了肖似“果蝇之眼”的建立：12×16折柳率的深度图像输入，联接浅近的物理模子和政策网罗，就能驱动无东说念主机以高达20米/秒的速率自主遨游。这一实验终结无声地提议了一个颠覆性假定：

着实决定导航才调的，并非传感器的精度，而是智能体对物理全国的内在纠合进度。

粗略将来的智能，不再是一味「堆大」，而是对「小」的重新纠合与深度挖掘。

后续询查

端到端单目自主FPV无东说念主机

询查团队后续创新与拓展了可微物理引擎框架与老师神色，进一步收尾了外洋首个基于单目FPV录像头的端到端量觉避障系统，在真实室外环境中收尾最高6m/s遨游速率，无需建图即可自主导航，该询查已在《IEEE Robotics and Automation Letters》发表[1]。

图8 端到端FPV（第一东说念主称视角录像头）自主遨游

参考贵府：

Hu, Yu, Yuang Zhang, Yunlong Song, Yang Deng, Feng Yu, Linzuo Zhang, Weiyao Lin, Danping Zou, and Wenxian Yu. "Seeing Through Pixel Motion: Learning Obstacle Avoidance From Optical Flow With One Camera," in IEEE Robotics and Automation Letters, vol. 10, no. 6, pp. 5871-5878开yun体育网, June 2025, doi: 10.1109/LRA.2025.3560842.