单目深度计算新遵守来了！色狼窝影院

西湖大学 AGI 实验室等提议了一种翻新性的蒸馏算法，奏效整合了多个开源单目深度计算模子的上风。

在仅使用 2 万张无标签数据的情况下，该重要权贵提高了计算精度，并刷新了单目深度计算的最新 SOTA 性能。

这一手艺冲破不仅提高了单目深度计算的鲁棒性，还大幅裁汰了对标注数据的依赖，使得该手艺好像更容易地应用于数据匮乏的场景。

此外，单目深度计算的高出也进一步推动了 2D 到 3D 内容调节手艺，使得单张图片的 3D 建模愈加精确高效。跟着这一讨论的鼓舞，单目深度计算将在更多范畴完毕高效、低本钱的三维感知，为东说念主工智能和计算机视觉的发展提供更强有劲的提拔。

该遵守由西湖大学 AGI 实验室、浙江工业大学等单元的讨论东说念主员共同完成的。

当今，该讨论的推理代码、模子和 Demo 如故上线，感有趣的读者不错通过著述临了的络续体验并试用该手艺。

自动驾驶、考古中都会使用单目深度计算

在计算机视觉范畴，单目深度计算是一项备受护士的任务，它好像仅凭一张 RGB 图像推测场景的深度信息，为三维空间的重建提供了重要提拔。比较于依赖多录像头或激光雷达的传统深度感知手艺，单目深度计算具有低本钱、易部署的上风，因此在多个范畴展现出开阔的应用出路。

单目深度计算的应用范围极其平淡，在自动驾驶中，车辆需要精确感知周围环境的深度信息，以确保安全驾驶和高效避障；在机器东说念主导航方面，深度计算增强了机器东说念主的环境感知才能，使其好像自主有计算旅途、灭绝紧闭物；在增强推行（AR）和造谣推行（VR）手艺中，可靠的深度计算能使造谣对象更当然地融入推行宇宙，为用户带来更具千里浸感的体验。

此外，在考古学和文化遗产保护方面，该手艺好像对历史文物进行精确的三维重建，幸免传统测量技巧的挫感冒险。影视制作和游戏开采高度依赖深度信息来完毕传神的光影效果和环境渲染，增强千里浸式体验。在 2D 和 3D 生成范畴，单目深度计算手艺也阐扬防卫要作用。

举例，在图像生成与编著中，深度信息可用于生成视差效果、动态光照调理、甚而是从单张图片中推理出竣工的三维结构。在 AI 起先的内容生成（如造谣脚色建模、数字孪生）中，单目深度计算提供了刚劲的几何信息提拔。建筑与室内假想也受益于单目深度计算，假想师不错讹诈该手艺快速构建三维模子，完毕造谣预览，优化空间讹诈。

尽管单目深度计算领有纷乱的后劲，但其濒临的挑战相同结巴薄情。在不同光照条款、复杂纹理、动态场景等情况下，现存重要的鲁棒性和精度仍然存在提高空间，限制了单目深度计算在骨子应用中的可靠性。此外，深度计算模子常常依赖大范围标注数据进行锻真金不怕火，而获得高质地深度数据集本钱较高，这进一步限制了其彭胀。

Distill Any Depth恰是为此而来。

它提议了一种基于跨陡立文与多教练模子的蒸馏框架，好像同期从多个深度计算模子中学习，从而提深邃度计算的精度和鲁棒性。具体完毕进程如下：

单目深度计算伪标签蒸馏的瓶颈：归一化问题

单目深度计算手艺旨在通过单张 RGB 图像推断场景的深度信息，平淡应用于自动驾驶、增强推行及 3D 场景络续等多个范畴。随脱手艺的不停高出，讨论者们缓缓提议了更为翻新的管制决策，尤其是在归一化深度示意和伪标签蒸馏学习重要方面，前者通过优化深度表征，后者则借助大范围无标签数据来提高模子的泛化才能。尽管这些重要在一定进度上推动了深度计算手艺的发展，但仍存在一个权贵瓶颈——归一化处理形态的遴荐。

当今，基于蒸馏的深度计算重要时常依赖全局归一化计谋，尽管该计谋好像在一定进度上提高模子的相识性，但却放大了噪声伪标签，进而裁汰了蒸馏的效果。这一问题尤为凸起，尤其在面对复杂的场景时，归一化处理常常限制了模子的性能。因此，何如克服这一挑战，并在蒸馏进程中提高信息传递与学习遵守，成为了刻下讨论中的中枢问题。

在图示中，讨论东说念主员比较了两种对皆计谋：

全局最小二乘法：在对皆前对扫数图像进行归一化色狼窝影院。

局部最小二乘法：在编著区域内进行归一化对皆。

如图所示，局部归一化计谋相较于全局归一化，在局部区域的准确性上推崇更好。全局归一化会影响到局部精度，而局部归一化则能更好地保留细节信息，因此局部归一化在提高模子性能方面具有更大的后劲。

翻新冲破：更细化、多教练联结的伪标签蒸馏算法

基于以上的发现，针对传统深度归一化重要中存在的问题，讨论团队进行了追念分析，并提议两项翻新性手艺：

1、系统性分析不同深度归一化计谋对伪标签蒸馏的影响：讨论团队久了探讨了全局归一化和局部归一化在蒸馏进程中的作用，重心分析了它们对模子性能的影响。终点是在精致化深度预测中，局部归一化相较于全局归一化，好像更好地保留局部细节信息并减小噪声伪标签的影响。通过实验发现，搀和归一化重要结合了全局和局部的深度信息，灵验提高了预测精度。下图展示了不同归一化计谋下，红点标志的归一化区域内的像素散布，完毕标明，搀和归一化在多个场景中均推崇出了优异的性能。

跨陡立文蒸馏：针对蒸馏进程中的信息传递问题，讨论团队提议了一种结合局部和全局深度信息的蒸馏框架——"跨陡立文蒸馏"。该框架通过优化伪标签质地，提高了模子的鲁棒性，具体分为两种场景：

分享陡立文蒸馏：教练模子与学生模子使用探究的图像进行蒸馏，使得两者之间的深度信息保捏一致。

局部 - 全局蒸馏：在该模式下，教练模子专注于重复区域进行深度预测，而学生模子则在扫数图像上进行预测。通过局部 - 全局赔本，确保了局部与全局预测的一致性，从而使得学生模子好像同期学习细节与全局结构，权贵提高了深度计算的精度与鲁棒性。

2、多教练蒸馏框架：为了进一步增强蒸馏效果，讨论团队引入了多教练模子机制。在每次锻真金不怕火迭代时，立时遴荐一个教练模子为无标签图像生成伪标签。不同教练模子的互补上风为蒸馏进程提供了更多的常识，使得学生模子好像轮廓多个视角的深度计算信息。通过这种多教练框架，深度预测的相识性和准确性得到了权贵提高，终点是在面对各样化场景时，模子展现出了更强的鲁棒性。

实验完毕

在多个公开基准数据集上的实验完毕标明，" Distill Any Depth " 重要在定量和定性分析中均推崇出了权贵的性能上风，尤其在田园环境中的深度计算任务中，所提议的重要权贵提高了模子的鲁棒性和泛化才能。

定性分析讨论团队展示了来自" Distill Any Depth "重要与其他经典深度计算模子（如 MiDaS v3.1、DepthAnythingv2、Marigold 等）的深度计算完毕。与现存的起先进重要比较，团队提议的模子在细节端倪上推崇得愈加精确，终点是在图像中标注位置（如玄色箭头所示）的深度计算上，展现了更细粒度的深度计算效果。

同期底下的多数例子标明，终点是在复杂环境下（如简笔画、头发、卡通场景等），该重要依然好像产生了了的边际和更详备的深度图，展示了其不凡的鲁棒性和精度。

定量分析：

实验完毕露出，基于新提议的蒸馏框架，模子在不同 benchmark 下的深度计算推崇权贵优于现存起先进重要。尤其是在 NYUv2、ScanNet 等结构化室内场景和 KITTI、DIODE、ETH3D 等复杂的户外环境下，所提议的重要都展现出了刚劲的泛化才能。优化伪标签蒸馏和深度归一化后，学生模子不仅越过了教练模子，还在多个基准测试中创下了新的 SOTA，充分阐述了该重要的灵验性。

追念与预测

总体而言，" Distill Any Depth "重要通过引入翻新的多教练蒸馏框架和跨陡立文蒸馏手艺，权贵提高了单目深度计算的精度和鲁棒性。该重要奏效克服了传统深度归一化计谋的局限，为无标签数据的灵验讹诈提供了全新的念念路和管制决策。通过这种手艺，深度计算的性能不仅得到了提高，也为进一步拓展深度计算的应用场景奠定了基础。

跟着该重要的不停优化和彭胀，明天有望在自动驾驶、3D 重建、增强推行以及 AGI 等范畴中阐扬重要作用。终点是在复杂场景下的应用中，估量该重要好像进一步提高模子的泛化才能和实用性，从而推动关联范畴手艺的冲破与高出。

预测明天，" Distill Any Depth "重要仍有进一步发展的空间，尤其是在算法优化、计算遵守和跨范畴相宜性等方面，跟着更多翻新的出现，单目深度计算手艺将在更多骨子应用中取得权贵进展。

在线试用：

https://huggingface.co/spaces/xingyang1/Distill-Any-Depth

论文络续：https://arxiv.org/abs/2502.19204

面目主页：https://distill-any-depth-official.github.io/

代码仓库：https://github.com/Westlake-AGI-Lab/Distill-Any-Depth

—  完  —

学术投稿请于使命日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 面目主页络续，以及关系形态哦

咱们会（尽量）实时回报你

一键护士 � � 点亮星标

科技前沿进展逐日见

一键三连「点赞」「转发」「提神心」

接待在驳斥区留住你的见解！色狼窝影院