DeepRead

Popular Tags
#VLM#agentic-RL#gui-agent#web-agent#LLM#VLA#computer-use#task-planning#manipulation#imitation-learning

2026-06-26-VenueBackfill

67 min read

Venue 回填报告 — CVF 顶会(近3年) + 期刊(近1年)

为新接入的检索源(OpenAlex 期刊 IJCV/TNNLS/TPAMI + CVF CVPR/ICCV/WACV)做的一次性历史回填:按现有研究方向筛选 → arxiv 优先下载全文 → codex 逐篇分析入库。新源已接入 daily-papers/autoresearch,此后日常自动覆盖。

概况

  • 本次新增 Paper 笔记:204 篇(codex 全文分析)
  • 来源:CVF 近 3 年(CVPR/ICCV/WACV 2024-2026)为主 + 少量有 arxiv 全文的期刊
  • 方向分布:VLM / Multimodal 81 · Embodied AI / VLA 40 · Agentic / LLM Agent 30 · GUI Agent / Computer-Use 28 · Spatial Reasoning / 3D 25
  • 评分:⭐5 ×8 / ⭐4 ×172 / ⭐3 ×24
  • 未完成:7 篇下载/提取失败(图片型 PDF 无法 OCR 提取),已记录在 worklist

综合分析

注:本次 204 篇由 codex 全文分析,rating 偏宽(⭐4 ×172 / ⭐3 ×24 / 0 篇 ≤2,因已按方向预筛过)。⭐4 应读作”相关且扎实”,真正的 must-read 看下面 8 篇 ⭐5;ablation/caveat 以各笔记正文为准。

8 篇 ⭐5(must-read):2606-WebGym(visual web agent RL 环境,~300k live-site task + rubric + async rollout)、2606-OSOracle(跨 Mobile/Web/Desktop 的 step-level GUI critic)、2606-GUIDE(从 screen recording 理解用户意图/何时帮忙)、2510-UINavBench(mobile UI online benchmark)、[2606-FromIndoorTo]、2606-ScalingSpatialIntelligence(SenseNova-SI:data-centric 空间智能 scaling)、2606-SpatialScore(49 个 MLLM 空间能力评测+改进)、2606-SpaceTools(VLM 多轮调用 pointing/depth/3D 工具)。

跨论文 pattern(比单篇更有价值):

  1. “Agentic / multi-agent” 成为框架性显学,但信号噪声不一:5 个方向里都大量出现 agent/multi-agent 包装——有真问题驱动的(WebGym、OSOracle、SpaceTools、长视频 agent 如 2606-LensWalk/2606-VideoARM),也有把传统 CV 任务硬套 multi-agent 的(3D 重建 2606-TopoMA、检测 2606-AgentDet/2606-UnsupervisedMultiAgent)。判断标准:agent 是否带来了 single-model 拿不到的能力(主动取证/工具/纠错),还是只是把 pipeline 改叫 agent。

  2. GUI grounding robustness 正被 test-time 方法集中攻击:2606-MVP、2606-DRSGUI、2606-BAMI、2510-VisualTestTime 都是 training-free 的 multi-view / region-search / attention-crop 推理时方案,普遍报告在 ScreenSpot-Pro 上提升。这与 agenda 的 GUI Grounding Robustness 方向直接相关——说明”架构级 multi-scale 训练”之外,无训练的 evidence-focusing 是一条低成本竞争路线,值得和 ScaleInvariant-Grounding-GUI 对照。

  3. “VLM 不会从 RGB 做 3D 空间推理”已成共识问题,三条解法并行:(a) 把几何 encoder(VGGT/Fast3R)特征注入 LLM(2606-SpatialStack/2606-S2MLLM/2606-G2VLM/2606-HiSpatial);(b) data-centric scaling(2606-ScalingSpatialIntelligence 8M、HiSpatial 2B QA);(c) test-time 几何先验 / 工具(2606-Abstract3DPerception/2606-SpaceTools/2606-GeometricallyConstrainedAg)。矛盾点:架构注入派和 data-scaling 派都声称是瓶颈解,缺乏在同一 benchmark 上的 head-to-head——这是个可追的 open question。

  4. VLA 从 reactive 转向 “think/affordance before act”:affordance grounding(显式 contact point/trajectory:2606-AffordGen/2510-A0AnAffordance/2510-CoAVLA/2506-AffordDP)与 reasoning/CoT/memory 增强(2506-CoTVLA/2606-ACoTVLA/2606-TRMVLA/2606-AVAVLA)是两条主线。共同假设:端到端 VLA 缺显式中间结构(affordance/CoT/3D)→ 加可解释中间表示提升 OOD 与 long-horizon。

  5. 直接强化 agenda 的 primary 方向(Agent-Facing Environment Runtime):2606-WebGym(rubric verifier + async rollout 环境)、2606-OSOracle(programmatic step-critic)、2606-Ego2Web/2510-UINavBench(带 judge 的真实环境)共同印证”环境侧 verifier/critic/async 是 visual agent RL 的关键基建”,可补进 AgentFriendlyEnvironment-Survey 与 HybridVerifier-GUIRuntime 的证据链。

诚实的边界:这批是 CVF(CV 顶会)论文,天然偏 perception / spatial / VLA;纯 GUI-agent 论文较少(26 篇,且不少有 arxiv 版、autoresearch 已覆盖)。期刊几乎只拿到有 arxiv 版的(IEEE/Springer paywall),所以”期刊回填”实际贡献有限,主力是 CVF。rating 宽松 + codex 无人值守,个别笔记可能有 overclaim,引用前请核对正文证据。

按方向清单

VLM / Multimodal(81 篇)

  • 2606-FromIndoorTo ⭐⭐⭐⭐⭐ CVPR 2026 — 这篇论文提出 OpenBench：一个基于 pedestrian-perspective stereo video、LiDAR、IMU/GPS 的 open-world spatial reasoning benchmark，用 8,736 个 QA 覆盖 relational、static metric、dynamic metric 三层能力。核心结论是，当前 MLLMs 在 indoor be
  • 2606-SenseSearch ⭐⭐⭐⭐ CVPR 2026 — SenseSearch 是一个基于 Qwen2.5-VL-7B-Instruct 的 agentic VLM，通过 cold-start SFT 和 BN-GSPO RL 学会在多轮推理中协调 text search、image search 和 image crop，用于高分辨率、知识密集、需要细粒度视觉定位的问题。论文同时提出 HR-MMSearch，并报告 SenseSearch-RL 在
  • 2606-RetouchIQ ⭐⭐⭐⭐ CVPR 2026 — RetouchIQ 解决 instruction-based image retouching 中“审美目标主观、单一 reference reward 不可靠”的问题，把 MLLM policy 训练成能从自然语言指令生成 reasoning trace 和可执行 Lightroom 参数的 agent。核心方法是用 Generalist Reward Model 动态生成评价 metrics
  • 2606-HierarchicalLongVideo ⭐⭐⭐⭐ CVPR 2026 — HAVEN 解决 long video understanding 中 naive chunking/RAG 带来的信息碎片化和全局叙事不连贯问题，通过 audiovisual entity cohesion、四层 hierarchical video index 和 agentic search 做多粒度检索与推理。它在 LVBench 上达到 84.1% overall accuracy，并在
  • 2606-SymphonyACognitively ⭐⭐⭐⭐ CVPR 2026 — Symphony 面向 long-form video understanding 中复杂问题的 grounding 与 multi-step reasoning bottleneck，提出一个 cognitively-inspired multi-agent system，把注意、感知、语言处理、推理/决策拆给不同 agents。它通过 Planning Agent 动态调度 Grounding
  • 2606-LensWalk ⭐⭐⭐⭐ CVPR 2026 — LensWalk 提出一种无需 fine-tuning 的 agentic video understanding 框架，让 LLM Reasoner 在推理过程中主动规划“看哪里、看多密”，再调用 VLM Observer 从 raw video 中按需获取证据。核心不是换更大的 video model，而是把视频观察变成 multi-turn reason-plan-observe loop；
  • 2606-VSBench ⭐⭐⭐⭐ CVPR 2026 — VS-Bench 提出一个面向 VLM 的 multimodal multi-agent benchmark，用十个 vision-grounded 游戏环境评估 perception、strategic reasoning 和 decision-making。主要结论是：当前 VLM 的基础视觉识别尚可，但在 theory-of-mind 式 next-action prediction 和长期
  • 2606-GTRTurbo ⭐⭐⭐⭐ CVPR 2026 — GTR-Turbo 解决 multi-turn VLM agent RL 中 sparse reward 和 long-horizon credit assignment 导致的 thought collapse，以及 GTR 依赖昂贵外部 teacher 的可扩展性问题。它把 RL 过程中保存的 historical checkpoints 用 TIES merging 合成一个“free te
  • 2606-ExperienceTransferFor ⭐⭐⭐⭐ CVPR 2026 — Echo 把 Minecraft multimodal LLM agent 的 memory 从被动检索库改成显式的 experience transfer 机制：用五个 transfer axes（structure, attribute, process, function, interaction）组织经验，再通过 ICAL 做类比式检索、改写和验证。论文在 Minecraft from-s
  • 2606-VideoARM ⭐⭐⭐⭐ CVPR 2026 — VideoARM 提出一个面向 long-form video understanding 的 Agentic Reasoning-over-hierarchical-Memory 范式：让 controller 在 observe-think-act-memorize 循环中动态调用 temporal scoping 与 multimodal understanding tools，并把证据写入
  • 2606-SeeAndFix ⭐⭐⭐⭐ CVPR 2026 — ArtiAgent 把 visual artifact 理解问题转化为可扩展的 agentic data synthesis：从真实图像中识别 entity / subentity，用 DiT self-attention 的 patch-wise PE/value injection 合成 duplication、omission、distortion、fusion 四类结构性 artifact
  • 2606-SVAgent ⭐⭐⭐⭐ CVPR 2026 — SVAgent 面向 long-video VideoQA，把长视频理解组织成 query-guided storyline、DPP evidence selection、text/vision 双分支 decision 和 meta-agent verification 的闭环。核心贡献不是训练新的 Video MLLM，而是在现有 Qwen2.5-VL / Qwen3-VL 小模型上用 mul
  • 2606-DualMirage ⭐⭐⭐⭐ CVPR 2026 — DualMirage 是一个面向 stealthy MLLM agents 的 CAPTCHA 框架，把人类能感知、MLLM 难感知的 contour illusion 与人类不可见、模型可受影响的 adversarial illusion 叠加起来。它不仅阻止 agent 解题，还试图诱导 agent 输出模型名等身份信息，从 passive gatekeeping 变成 active hunt
  • 2606-SciEducator ⭐⭐⭐⭐ CVPR 2026 — SciEducator 面向 scientific video understanding and educating，把 Deming Cycle 的 Plan-Do-Study-Act 机制改写成一个可迭代 self-evolving multi-agent workflow，用于回答科学现象视频问题并生成 multimodal educational e-booklet。论文同时构建 Sci
  • 2606-VideoChatM1 ⭐⭐⭐⭐ CVPR 2026 — VideoChat-M1 解决 agent-based video understanding 中 tool invocation policy 通常固定、不可学习的问题，提出 Collaborative Policy Planning (CPP) 让多个 policy agents 生成、执行、交流并动态修正工具调用计划。它再用 Multi-Agent Reinforcement Learnin
  • 2606-ThinkThenVerify ⭐⭐⭐⭐ CVPR 2026 — VideoHV-Agent 把 long-form VideoQA 从相关性检索改写为 hypothesis-verification：先把每个候选答案转成可验证假设，再生成 discriminative clue、定位证据并验证。论文在 EgoSchema、NextQA、IntentQA 和 supplementary 的 VideoMME-L 上报告 zero-shot SOTA 或强于近邻
  • 2606-CodeDance ⭐⭐⭐⭐ CVPR 2026 — CodeDance 把 executable Python code 作为 MLLM 视觉推理的统一 tool-use medium，让模型在多轮中生成代码、执行视觉/符号操作、读取 sandbox 反馈，并用 RBAT reward 学习按任务难度自适应调用工具。核心价值是把 “thinking with images” 从固定 crop / bbox schema 推向更通用的可组合代码执行，
  • 2606-VisualDocumentUnderstandin ⭐⭐⭐⭐ CVPR 2026 — MACT 针对 visual document understanding and reasoning 中单体 VLM 扩参收益递减的问题，把文档问答流程拆成 Planning、Execution、Judgment、Answer 四类 agents，并为不同 agent 设计 adaptive test-time scaling。论文报告三个 MACT variants 在 15 个 docume
  • 2606-ResolvingEvidenceSparsity ⭐⭐⭐⭐ CVPR 2026 — SLEUTH 针对 long-document understanding 中 evidence sparse、retrieved pages 仍然高度冗余的问题，用 training-free multi-agent context engineering 把 Top-K pages 转换成更 compact、evidence-dense 的 multimodal context。它不训练新 b
  • 2606-MonoVLM ⭐⭐⭐⭐ CVPR 2026 — MonoVLM 把 monocular 3D visual grounding 重新表述为一个可分阶段强化学习的 VLM adaptation 问题：先学 2D grounding，再学 3D center，最后预测完整 3D bounding box。论文的关键发现是，直接用 3D IoU 做 GRPO reward 太稀疏，而 coarse-to-fine 的三阶段 GRPO curricul
  • 2606-IsYourVLM ⭐⭐⭐⭐ CVPR 2026 — SpatialSky-Bench 是一个面向 UAV navigation 的 VLM spatial intelligence benchmark，覆盖 Environmental Perception 与 Scene Understanding 两大类、13 个子任务。作者基于 UAVScenes 的 RGB / semantic mask / LiDAR depth / pose / bou
  • 2606-G2VLM ⭐⭐⭐⭐ CVPR 2026 — G2 VLM 把 spatial 3D reconstruction 和 spatial understanding 放进同一个 VLM：用 geometric perception expert 学 3D point/camera/depth 表示，用 semantic perception expert 做多模态理解，并通过 shared self-attention、in-context l
  • 2606-SpatialStack ⭐⭐⭐⭐ CVPR 2026 — SpatialStack 针对 3D VLM spatial reasoning 中 final-layer geometry fusion 丢失 hierarchical geometry cues 的问题，提出把 VGGT 多层 geometry features 逐层注入 LLM decoder 的 geometry-language fusion。VLM-SpatialStack 在 VS
  • 2606-Abstract3DPerception ⭐⭐⭐⭐ CVPR 2026 — SandboxVLM 解决通用 VLM 在 3D spatial reasoning 和 physical understanding 中缺少显式 3D awareness 的问题。它不训练新模型，而是在 test time 用 video diffusion multi-view priors、proxy elevation、multi-view voting/clustering 构造抽象 3
  • 2606-KeepitSymPL ⭐⭐⭐⭐ CVPR 2026 — SymPL 解决 VLM 在 allocentric spatial reasoning 中明显退化的问题：不训练新模型，而是把对象视角的空间问题重写成 VLM 更擅长的 symbolic-layout localization question。它通过 projection、abstraction、bipartition、localization 四个因子，在 COMFORT#、3DSRBenc
  • 2606-HandVQA ⭐⭐⭐⭐ CVPR 2026 — HandVQA 是一个把 3D hand joint geometry 转成 VQA 的诊断 benchmark，用 FreiHAND、InterHand2.6M 和 FPHA 生成 1.6M+ controlled multiple-choice questions，专门测 VLM 对手部 angle、distance、relative position 的 fine-grained spati
  • 2606-S2MLLM ⭐⭐⭐⭐ CVPR 2026 — S2-MLLM 解决 MLLM 用 2D visual inputs 做 3D visual grounding 时缺少 3D structure understanding 的问题，核心做法是在训练期引入基于 Fast3R 的 reconstruction supervision 作为 spatial guidance，并用 structure-enhanced module 融合 multi-
  • 2601-Geo3DVQA ⭐⭐⭐⭐ WACV 2026 — Geo3DVQA 提出一个面向 aerial RGB imagery 的 height-aware 3D geospatial reasoning VQA benchmark，用 110k QA pairs、16 个任务类别和三层 task taxonomy 评估 VLM 能否从 2D RGB 线索推断 SVF、height、land cover 与组合空间属性。核心发现是现有 VLM 在 RGB
  • 2510-CAPTURE ⭐⭐⭐⭐ ICCV 2025 — CAPTURE 提出一个 amodal counting benchmark，用遮挡物覆盖规则排列的对象，要求 VLM 根据可见 pattern 推断被遮挡对象并输出总数。论文构造了 CAPTURE_real 和 CAPTURE_synthetic 两个 split，显示 GPT-4o、InternVL2、Molmo、Qwen2VL、MiniCPM-o 2.6、Kimi-VL-A3B 等模型在遮挡
  • 2606-ElicitingComplexSpatial ⭐⭐⭐⭐ CVPR 2026 — 这篇论文把 Wide-Baseline Matching (WBM) 作为评估和训练 MLLM complex spatial reasoning 的可验证 testbed：模型要在大视角变化、遮挡、重复结构和语义相似区域下做跨视角 region correspondence。作者构建 ReasonMatch-Bench，并提出从 RGB-D / SfM video-3D corpora 自动生成
  • 2606-HiSpatial ⭐⭐⭐⭐ CVPR 2026 — HiSpatial 把 VLM 的 3D spatial understanding 拆成从几何感知到抽象推理的四级层级任务，并用约 5M images、45M objects、2B QA pairs 做 SFT。方法还给 PaliGemma2-3B 加入 metric-scale 3D point map 分支，在多个 spatial benchmark 上优于大量 general VLM 与
  • 2606-LearningToReason ⭐⭐⭐⭐ CVPR 2026 — 这篇论文提出 DSR Suite，用 in-the-wild videos 自动构造 Dynamic Spatial Reasoning 训练集 DSR-Train 和人工 refinement 的评测集 DSR-Bench，并用 Geometry Selection Module (GSM) 把 question-relevant 4D geometric priors 接入 VLM。核心贡献是
  • 2606-GeoDiT ⭐⭐⭐⭐ CVPR 2026 — GeoDiT 把 remote sensing VLM 的 text generation 从 autoregressive token-by-token 过程改成 discrete diffusion / mask-and-predict 的 parallel iterative refinement：用 SigLIP-2 visual backbone、MLP projector 和 LLaD
  • 2606-REVLM ⭐⭐⭐⭐ CVPR 2026 — RE-VLM 针对 RGB-only VLM 在 low light、HDR、fast motion 场景下退化，以及 event-only VLM 缺少 color/texture/static context 的问题，提出 RGB+Event dual-stream VLM。方法上，它用 graph-driven pipeline 生成 RGB-Event-Text supervision，并
  • 2606-GraphVLM ⭐⭐⭐⭐ CVPR 2026 — GraphVLM 是一个面向 multimodal graph learning 的 VLM benchmark，系统比较 VLM-as-Encoder、VLM-as-Aligner、VLM-as-Predictor 三种使用范式。核心结论是：在六个 text+image attributed graph node classification 数据集上，fine-tuned VLM-as-Pre
  • 2606-SceneVLM ⭐⭐⭐⭐ CVPR 2026 — Scene-VLM 把 video scene segmentation 从 encoder-based shot classifier 改成 fine-tuned VLM：每个 shot 输入 frames、dialogue 和可选 character metadata，模型在 context-focus window 中顺序输出 scene boundary 的 Yes/No 决策，并从 Ye
  • 2606-LongVideoR1 ⭐⭐⭐⭐ CVPR 2026 — LongVideo-R1 面向 low-cost long video understanding，把长视频 QA 从 exhaustive clip scanning 改成一个会主动导航的 CoTwT agent：先看高层 caption，再按问题决定 zoom in、横向移动、回退或停止回答。它用 CG-Bench clue-grounded annotations 合成约 33K tool-
  • 2606-RethinkingIntermediateRepr ⭐⭐⭐⭐ CVPR 2026 — 本文重新审视 VLM-based robot manipulation 中的 intermediate representation，指出 high-level skill API 与 low-level keypoint/axis constraint 分别卡在 action-generalizability 与 VLM-comprehensibility 上。作者提出 SEAM（Semanti
  • 2606-CapNav ⭐⭐⭐⭐ CVPR 2026 — CapNav 提出一个 capability-conditioned indoor navigation benchmark，用同一室内空间、任务和导航图去测试 VLM 是否能根据具体 agent 的物理尺寸与操作能力判断可达性、路径有效性、路线可通行性和失败理由。核心发现是：即使 strongest proprietary VLM 在 CapNav 上超过 human average，现有模型仍
  • 2606-VLMLoc ⭐⭐⭐⭐ CVPR 2026 — VLM-Loc 用 VLM 做 text-to-point-cloud localization：把 point cloud map 转成 BEV image 和 scene graph，再通过 Partial Node Assignment 显式对齐文本线索与图节点，最后自回归输出 2D 位置。论文同时提出 CityLoc benchmark；在 CityLoc-K test 上达到 R@5/1
  • 2606-FirstLogitBoosting ⭐⭐⭐⭐ CVPR 2026 — First Logit Boosting (FLB) 是一种 training-free decoding 方法，用第一步生成时的 logit 作为后续生成的 additive anchor，以缓解 LVLM 长文本生成中 visual grounding 随 token 位置衰减导致的 object hallucination。论文把收益归因于 direct visual grounding 与
  • 2606-VisResBench ⭐⭐⭐⭐ CVPR 2026 — VisRes Bench 提出一个基于自然图像的四选一 visual reasoning benchmark，用 Level 1/2/3 分别诊断 perceptual completion、single-attribute rule inference 和 multi-attribute compositional reasoning。论文的核心发现是：当前 VLMs 在去掉语言上下文捷径后，尤
  • 2606-TimeViper ⭐⭐⭐⭐ CVPR 2026 — TimeViper 是一个面向 long video understanding 的 hybrid Mamba-Transformer MLLM：用 hybrid backbone 获得更低长上下文成本，用 TransV 在 LLM 内部把 vision token 信息转移并压缩到 instruction token。论文的主要 insight 是 hybrid MLLM 中存在 vision-
  • 2606-VLMPTQ ⭐⭐⭐⭐ CVPR 2026 — VLM-PTQ 是一个面向 large Vision-Language Models 的 training-free post-training quantization 框架，目标是在低比特量化下减少 VLM 部署成本，同时保持 multimodal reasoning / OCR / document QA 等能力。核心改动有两点：在 GPTAQ-style asymmetric calibr
  • 2606-VLM4RSDet ⭐⭐⭐⭐ CVPR 2026 — VLM4RSDet 解决 closed-set remote sensing object detection 中传统 detector 精度瓶颈与 VLM 推理开销过高之间的矛盾。它在训练阶段把 Florence-2-Base 风格的 VLM 分支接到 detector 的 FPN 多尺度特征上，用 detection losses 和 language modeling loss 协同优化；推
  • 2606-IAG ⭐⭐⭐⭐ CVPR 2026 — IAG 研究的是 VLM-based visual grounding 的多目标 backdoor 风险: 攻击者在模型训练阶段注入少量 poisoned data，使模型在遇到 input-aware trigger 时无视用户 query，转而定位攻击者指定的任意目标。方法用 text-conditioned U-Net 根据攻击目标描述和原图生成动态 trigger，并通过 LM loss
  • 2606-ChainofFrames ⭐⭐⭐⭐ CVPR 2026 — Chain-of-Frames (CoF) 让 video LLM 在单阶段回答中生成带显式 Frame N 引用的 reasoning trace，以缓解视频 CoT 缺少 temporal grounding 的问题。作者构建了 164,186 条 C O F-DATA，并在 InternVL2.5-4B、InternVL3-8B、Phi-3.5-Vision-4B 上 fine-tune
  • 2606-VLM3R ⭐⭐⭐⭐ CVPR 2026 — VLM-3R 针对 video VLM 缺少 metric 3D spatial reasoning 的问题，把 CUT3R 的 implicit spatial tokens 和 camera view tokens 通过 Spatial-Visual-View Fusion 注入 LLaVA-NeXT-Video 风格 VLM，并用约 207,779 个 3D reconstructive Q
  • 2601-SafeVisionLanguage ⭐⭐⭐⭐ WACV 2026 — 这篇论文指出，现有 VLM safety alignment 的评估过度关注 unsafe inputs，可能掩盖模型在 safe inputs 上变得更不安全的问题。作者提出 SafeGround 指标组，并用 training-free 的 Unsafe Weights Manipulation (UWM) 定位并反转与 unsafe content 信息流差异最大的权重，在安全性和 zero
  • 2506-YourLargeVision ⭐⭐⭐⭐ CVPR 2025 — 本文发现 frozen LVLM 中只有少数 text-to-image attention heads 已经具备 visual grounding 能力，作者称之为 localization heads。方法用 attention sum 和 spatial entropy 在 image-text pairs 上统计 selection frequency，固定选出 top-3 localiz
  • 2506-BOLT ⭐⭐⭐⭐ CVPR 2025 — BOLT 是一个 training-free 的 long-form video VQA frame selection 方法：用 query-frame similarity 构造概率分布，再通过 inverse transform sampling 在相关性和多样性之间折中选帧。它还提出 multi-source retrieval evaluation，把多个视频拼接成带 distracto
  • 2506-EmbodiedSceneUnderstanding ⭐⭐⭐⭐ CVPR 2025 — MetaVQA 提出一个面向 VLM embodied scene understanding 的 benchmark / dataset，把 Set-of-Mark 标注的真实与仿真驾驶图像、基于 scene graph 的 VQA、以及 MetaDrive closed-loop driving evaluation 放在同一套协议下。它的核心贡献不是新模型结构，而是用较清晰的 object
  • 2506-GFlowVLM ⭐⭐⭐⭐ CVPR 2025 — GFlowVLM 将 Generative Flow Networks 用作 VLM 的 fine-tuning objective，把多步视觉-语言决策建模为 non-Markovian trajectory sampling，而不是只做 SFT imitation 或 PPO reward maximization。它在 NumberLine、Blackjack 和 ALFWorld 上提升了
  • 2506-LayoutVLM ⭐⭐⭐⭐ CVPR 2025 — LayoutVLM 解决 open-universe 3D layout generation：给定 unlabeled 3D assets 和自由语言指令，生成同时物理可行、语义一致的室内场景布局。核心做法是让 VLM 从带视觉标注的 scene/asset renderings 中生成两种互补表示：numerical pose initialization 和可微 spatial relati
  • 2506-VideoXL ⭐⭐⭐⭐ CVPR 2025 — Video-XL 试图解决 hour-scale video understanding 中视觉 token 过长、显存/计算成本过高、简单 token reduction 又丢失细粒度信息的问题。它用 Visual Summarization Token (VST) 把每个视频区间的 visual tokens 压缩成 VST 的 KV cache，并结合 dynamic compression
  • 2506-FastVLM ⭐⭐⭐⭐ CVPR 2025 — FastVLM 研究 VLM 中 vision encoder 的高分辨率效率瓶颈，提出 FastViTHD 这个 hybrid hierarchical encoder，用更少 visual tokens 和更低 vision latency 改善 time-to-first-token。论文的核心贡献是把 resolution、visual token count、vision latency
  • 2510-WalkVLM ⭐⭐⭐⭐ ICCV 2025 — WalkVLM 面向 blind walking assistance，把 VLM 从被动 QA 改造成能在 streaming video 中主动、简洁、适时提醒的 walking guidance model。论文贡献包括 Walking Awareness Dataset (WAD) 以及基于 CoT-based hierarchical planning、Priori-Object Loc
  • 2510-MaTVLM ⭐⭐⭐⭐ ICCV 2025 — MaTVLM 用 Mamba-2 替换预训练 TinyLLaVA 中一部分 transformer decoder 的 attention，并通过 attention-to-Mamba 初始化与单阶段 distillation 训练高效 VLM。论文的核心结果是：在多项 VLM benchmark 上接近 teacher TinyLLaVA，同时最高达到 3.6× inference speedu
  • 2510-OpenEndedHierarchical ⭐⭐⭐⭐ ICCV 2025 — OpenHOUSE 把 streaming video understanding 从在线 action classification / localization 推到开放式、层级化描述生成：轻量 Streaming module 在线检测 substep / step / goal 的边界与层级，只有在 action instance 结束时才调用 frozen VLM 生成描述。核心贡献是用
  • 2510-VLM4D ⭐⭐⭐⭐ ICCV 2025 — VLM4D 提出一个专门评估 VLM spatiotemporal awareness 的 benchmark：1,000 个视频、1,816 个 QA，覆盖 real exo/ego-centric 与 synthetic 视频，以及 translational、rotational、counting、false positive 等问题。对 23 个开闭源 VLM 的 zero-shot 评测
  • 2406-InvestigatingCompositional ⭐⭐⭐⭐ CVPR 2024 — 这篇论文指出，CLIP、ALBEF、METER、BLIP2 等 VLM 虽然能用 Grad-CAM 在 conventional visual grounding benchmark 上达到或超过既有 weakly supervised 方法，但在需要 attribute、relation、priority compositional reasoning 的 visual grounding 中明
  • 2606-QuantExperts ⭐⭐⭐⭐ CVPR 2026 — Quant Experts (QE) 面向 large Vision-Language Models 的 post-training quantization，指出已有静态 channel importance 估计和全局 error compensation 忽略了 modality 与 token 之间的重要通道分布差异。方法把 important channels 划分为 token-ind
  • 2606-Grounded3DAware ⭐⭐⭐⭐ CVPR 2026 — GR3D 是一个面向 spatial VLM 的 grounding-first 框架，把 explicit 2D grounding、implicit 2D grounding 和 monocular 3D grounding 放进同一个 generative VLM 流程中。它的核心想法是让模型在生成 CoT 时动态定位文本提到的实体、插入 region token，再基于该局部视觉证据做 3
  • 2606-FineGrainedPost ⭐⭐⭐⭐ CVPR 2026 — 这篇论文提出 Quantization-aware Integrated Gradients (QIG)，用 token-level attribution 直接估计 LVLM post-training quantization error 中每个 token 的敏感性，并把该权重用于 fine-grained calibration。核心结论是：相比只做 modality-level bala
  • 2606-JailbreakingVisionLanguage ⭐⭐⭐⭐ CVPR 2026 — DGSIP 针对 VLM jailbreak，提出用 aligned target model 与 unaligned guide model 之间的 predictive dissonance 来搜索 adversarial suffix，并在文本搜索停滞时加入 image-phrase injection。实验在 AdvBench、MM-SafetyBench、HADES 和 commerci
  • 2606-VLMGuidedGroup ⭐⭐⭐⭐ CVPR 2026 — 本文针对 diffusion-based monocular Human Mesh Recovery 中“多 hypothesis 能表达不确定性但容易牺牲准确性/物理合理性”的问题，提出一个带 dual-memory 和 self-reflection 的 VLM HMR critique agent，并用其生成 group-wise preference signals 来 finetune
  • 2606-BeyondSequentialTools ⭐⭐⭐⭐ CVPR 2026 — 这篇论文把 photographic post-processing 从 sequential tool invocation 改成 VLM-guided 的 one-shot multi-expert fusion：Qwen2.5-VL-72B 负责分析用户意图和图像退化，Flux-Kontext backbone 负责执行，多个 single-task LoRA experts 按动态权重同时
  • 2606-RethinkingTokenReduction ⭐⭐⭐⭐ CVPR 2026 — 这篇论文把 LVLM visual token reduction 从 single-turn VQA 重新放到更实际的 multi-turn VQA 场景中，指出 prompt-dependent pruning 会丢掉后续轮次可能需要的图像区域，而 attention heuristic 的 prompt-agnostic 方法也不是可靠的 token 保留准则。作者提出 MetaCompre
  • 2606-DynamicsAwarePreference ⭐⭐⭐⭐ CVPR 2026 — 这篇论文把 VLM preference finetuning 的不稳定性解释为 learning dynamics 中的 “squeezing effect”：easy negatives 虽然 loss 很低，却仍可能产生不成比例且方向不好的梯度，导致 posterior 过尖、calibration 变差。作者提出 CW-DPO：先用带 gentle negatives 的 constrai
  • 2606-PyraTok ⭐⭐⭐⭐ CVPR 2026 — PyraTok 是一个 language-aligned pyramidal video tokenizer，用多尺度 LaPQ quantization、共享大 binary codebook 和 autoregressive semantic alignment，把 video VAE 的离散 token 同语言语义对齐。论文的核心贡献不是单一任务模型，而是把同一套 video latent
  • 2506-VStylist ⭐⭐⭐ CVPR 2025 — V-Stylist 把 text-driven video stylization 拆成 Video Parser、Style Parser、Style Artist 三个 MLLM/LLM agent role，用 shot-level prompt、tree-of-thought style model search 和 multi-round self-reflection 来处理复杂转场、
  • 2606-mVLM ⭐⭐⭐ CVPR 2026 — µVLM 针对低功耗 µNPU 的几十 MB 内存限制和有限算子支持，设计了一个可部署的 image captioning VLM。核心做法是用 OverMod encoder、AttSSM decoder、Coordinated Full-Parameter Quantization 和自定义 CPU fallback operators，在 STM32N657 µNPU 上实现低内存、毫秒级
  • 2601-AnatomyVLM ⭐⭐⭐ WACV 2026 — Anatomy-VLM 试图把 radiologist 的 anatomy-first workflow 写进 medical VLM：先定位 29 个 anatomical regions，再做 region-specific alignment，最后结合 global disease classification。它在 chest X-ray zero-shot classification、
  • 2601-OpenLVLMMIA ⭐⭐⭐ WACV 2026 — OpenLVLM-MIA 提出一个受控的 LVLM membership inference benchmark，核心结论是：许多既有 MIA 高分可能测到的是 member / non-member 数据分布差异，而不是真实 membership signal。作者用公开训练数据构建 OpenCLIP-LLaVA 和 6,000 张三阶段样本，在 distribution-aligned 条件下
  • 2601-FairVLM ⭐⭐⭐ WACV 2026 — FairVLM 针对 medical VLM segmentation 中 demographic bias 和 prompt sensitivity 交织的问题，把 Semantic-Retaining Counterfactual Prompting、Demographic-Aware Feature Normalization 和 Fairness-Calibrated Loss 组合到 S
  • 2601-VLMDiff ⭐⭐⭐ WACV 2026 — VLMDiff 面向 unsupervised multi-class visual anomaly detection，把 VLM 生成的图像描述作为 latent diffusion reconstruction 的 text condition，以单个模型学习多类别 normality。它在 Real-IAD 与 COCO-AD 上明显强于 diffusion-based baselines
  • 2510-GEOBenchVLM ⭐⭐⭐ ICCV 2025 — GEOBench-VLM 是一个面向 geospatial remote sensing 的 VLM benchmark，覆盖 8 类、31 个子任务和 10,000+ manually verified instructions，用 MCQ、BBox、Segmentation mask 和 captioning 指标评估 generic 与 geospatial-specific VLM。核心结
  • 2401-CanVisionLanguage ⭐⭐⭐ WACV 2024 — 这篇论文问的是 VLM 能否像 GeoGuesser 玩家一样，从图像中的 socio-cultural visual cues 推断拍摄时间与地点。作者构建 WikiTiLo，并用 Recognition/Reasoning 两阶段 probing 发现：CLIP/BLIP 等 visual encoders 能保留较强的时间/地点相关特征，但 OpenFlamingo 和 LLaMA-Adap
  • 2606-QuantizedResidualsTo ⭐⭐⭐ CVPR 2026 — QR-Prompt 解决 VLM 场景下的 Few-Shot Class-Incremental Learning：用 CLIP visual-textual residual 恢复 contrastive pretraining 中被压平的细粒度信息，再把 quantized residual subspaces 转成 class-adaptive continuous prompts。实验显示
  • 2606-GastricX ⭐⭐⭐ CVPR 2026 — Gastric-X 是一个面向 gastric cancer analysis 的 multimodal medical VLM benchmark，把 multi-phase 3D CT、endoscopic image、biochemical indicators、clinical reports、TNM stage 和 3D lesion BBox 对齐到 patient-level。它的主
  • 2606-WeMMU ⭐⭐⭐ CVPR 2026 — WeMMU 研究的是如何高效连接预训练 VLM 和 Diffusion Model，同时避免 fixed learnable query tokens 在新任务上出现 task generalization collapse。作者把桥接 token 从确定性可学习向量改成每步从标准正态分布采样的 Noisy Query Tokens，并用 VAE branch 向 VLM 注入细节特征，使 Qwe

Embodied AI / VLA(40 篇)

  • 2606-ActiveVLA ⭐⭐⭐⭐ CVPR 2026 — ActiveVLA 针对当前 VLA 在固定视角、遮挡和细粒度 3D 操作中的感知瓶颈，把 active perception 注入 VLA pipeline。方法先用 3D point cloud 的多视角 orthographic projection 预测关键区域，再主动选择虚拟视角并做 3D zoom-in，最后基于 refined views 预测 3D action。实验显示它在 RL
  • 2606-AffordanceFieldInterventio ⭐⭐⭐⭐ CVPR 2026 — AFI 针对 VLA 在 OOD manipulation 场景中复现训练轨迹而不响应新空间线索的 “Memory Trap”，用 3D Spatial Affordance Field 作为 test-time plug-in 做检测、rollback、waypoint sampling 和 trajectory re-ranking。它不改 VLA 参数，主要贡献是把端到端 VLA 的语义/a
  • 2510-CoAVLA ⭐⭐⭐⭐ ICCV 2025 — CoA-VLA 把 VLA 的中间推理从泛化的 language rationale 改成可执行的 Chain-of-Affordance：object、grasp、spatial、movement 四类 affordance 以 textual + visual 两种形式注入 DiffusionVLA-style policy。论文在 7 个 Franka 真实任务和 LIBERO 上报告 Co
  • 2510-MoMaKitchen ⭐⭐⭐⭐ ICCV 2025 — MoMa-Kitchen 把 mobile manipulation 的“到达目标附近”问题重新定义为 affordance-grounded last-mile navigation：给定 first-person RGB-D、floor point cloud 和 robot-specific parameters，预测机器人应该停在哪些 floor positions 才能完成后续 mani
  • 2510-FedVLA ⭐⭐⭐⭐ ICCV 2025 — FedVLA 试图把 VLA robotic manipulation 的训练从集中式数据汇聚改成 federated learning：用户侧只上传模型更新，raw images / instructions / trajectories 不离开本地。核心方法是 Instruction-Oriented Scene-Parsing、Dual Gating MoE 和 Expert-Driven
  • 2606-TRMVLA ⭐⭐⭐⭐ CVPR 2026 — TRM-VLA 针对 reasoning-augmented VLA 每帧生成完整 CoT 带来的冗余和跨帧不一致问题，提出 Keyframe-Triggered Reasoning (KTR) 与 Granularity-adaptable Context Memory (GCM)。它只在关键帧生成层级化 CoT，并把历史 reasoning trace 存入动态 memory 供 diffus
  • 2606-AffordGen ⭐⭐⭐⭐ CVPR 2026 — AffordGen 把 affordance correspondence 从在线规划信号改造成 demonstration generation 的先验：从少量人工 demonstration 中抽取 affording point、function point 和关键 trajectory segment，再迁移到大量 3D meshes 与 6D poses 上生成训练数据。它的核心价值在于
  • 2606-GlobalPriorMeets ⭐⭐⭐⭐ CVPR 2026 — OptimusVLA 针对 hierarchical VLA 中 action generation 的两个瓶颈：Gaussian / isotropic noise prior 到结构化动作分布的 prior-target gap 会增加 NFE 和 infeasible samples，单帧 observation conditioning 又缺少 task progress 与 tempor
  • 2606-MergeVLA ⭐⭐⭐⭐ CVPR 2026 — MergeVLA 研究一个很实际但此前少被系统处理的问题：多个单任务 VLA expert 直接 model merging 后几乎失效，为什么会这样，以及怎样让 VLA 从架构上保持可合并。它的答案是把冲突分成 VLM LoRA 的 task-specific parameter interference 和 action expert 的 self-attention coupling，再用
  • 2606-LocalizingStructuringAnd ⭐⭐⭐⭐ CVPR 2026 — DiffRender-VLA 用 differentiable rendering 把 3D point cloud 中的 target location、object-to-target spatial relation 和 adaptive viewpoint 投射成 2D VLA 可读的图像，从而桥接 3D VLA 的几何推理和 2D VLA 的语义感知。论文在 RLBench 12 个仿真
  • 2606-PALM ⭐⭐⭐⭐ CVPR 2026 — PALM 针对 long-horizon robotic manipulation 中 VLA 容易重复动作、跳步和过早终止的问题，把 future affordance prediction 和 continuous progress estimation 放进同一个 policy loop。方法用四类 learnable affordance queries（Global/Local/Spat
  • 2606-AGiLe ⭐⭐⭐⭐ CVPR 2026 — AGiLe 针对 language-guided long-horizon manipulation 中的 temporal robustness 与 planning-execution gap，提出 backward planner + forward critic 的 bidirectional latent planning，并用 plan-conditioned cross-attent
  • 2606-AVAVLA ⭐⭐⭐⭐ CVPR 2026 — AVA-VLA 将 VLA 的逐帧 Markov policy 重新表述为 POMDP 下的历史条件策略，用上一时刻 action hidden state 形成 recurrent state，并用 Active Visual Attention 动态调制当前 visual tokens。它在 LIBERO 达到 98.0% one-policy average / 98.2% one-poli
  • 2606-QuantVLA ⭐⭐⭐⭐ CVPR 2026 — QuantVLA 是一个面向 Vision-Language-Action models 的 training-free post-training quantization 框架，核心问题是低比特量化会在 language backbone 到 DiT action head 的接口处引入 attention logits temperature drift 和 residual-stream
  • 2606-HiFVLA ⭐⭐⭐⭐ CVPR 2026 — HiF-VLA 针对 VLA 的 temporal myopia：多数模型只看当前 observation，或用 raw history frames / pixel-level future subgoals 扩展上下文，代价高且冗余。论文用 Motion Vectors 作为低维 motion representation，把 past dynamics 的 hindsight、current
  • 2606-ATVLA ⭐⭐⭐⭐ CVPR 2026 — AT-VLA 针对 contact-rich manipulation 中 pretrained VLA 难以及时利用 tactile feedback 的问题，提出 Adaptive Tactile Injection 与 Tactile Reaction Dual-Stream，在保持 GO-1 视觉语言能力的同时只在接触阶段引入触觉条件。真实机器人实验中，AT-VLA 在 Unzip Bag
  • 2606-VIRAL ⭐⭐⭐⭐ CVPR 2026 — VIRAL 是一个 RGB visual sim-to-real framework：先在 simulation 里用 privileged RL teacher 学 humanoid loco-manipulation，再用 DAgger + behavior cloning 蒸馏成只看 RGB + proprioception 的 student，并通过大规模 tiled rendering、
  • 2606-BiPreManip ⭐⭐⭐⭐ CVPR 2026 — BiPreManip 定义并研究 Collaborative Preparatory Manipulation: 一个手臂先通过 lifting、reorienting、pushing 等 preparatory manipulation 改变物体状态，让另一只手臂随后完成 goal-directed manipulation。方法核心是先预测 primary arm 未来交互的 anticipa
  • 2606-ACoTVLA ⭐⭐⭐⭐ CVPR 2026 — ACoT-VLA 提出把 Chain-of-Thought 从 language / vision 中间表示转移到 action space：先生成粗粒度 reference actions，再从 VLM KV-cache 中抽取 implicit action priors，用两类 action guidance 条件化最终 action head。论文在 LIBERO、LIBERO-Plus、
  • 2606-GeoPredict ⭐⭐⭐⭐ CVPR 2026 — GeoPredict 解决 VLA manipulation 中 policy 过于 reactive、2D-centric，难以处理精确 3D 几何和长时序物理一致性的问题。它在 π0 continuous-action VLA 上加入 trajectory-level kinematic prediction 和 predictive 3D Gaussian geometry 两类训练时监督，
  • 2606-CounterfactualVLA ⭐⭐⭐⭐ CVPR 2026 — CF-VLA 把 autonomous driving VLA 的 reasoning 从一次性解释推进到自我反思：模型先生成 time-segmented meta-actions，再基于视觉上下文和自身计划做 counterfactual reasoning，必要时修正 meta-actions 后再生成轨迹。作者用 rollout-filter-label pipeline 从模型自身失败中
  • 2606-FromManualsTo ⭐⭐⭐⭐ CVPR 2026 — ManualVLA 针对有明确 final goal state 的长程机器人任务，把 multimodal manual generation 和 action execution 统一到一个 MoT-based VLA 中。核心做法是先从当前图像、目标图像和语言指令生成包含文本、2D 坐标和 subgoal image 的 manual，再用 explicit / implicit Manua
  • 2506-AffordDP ⭐⭐⭐⭐ CVPR 2025 — AffordDP 将 3D contact point 与 post-contact trajectory 形式的 transferable affordance 显式接入 diffusion policy，并在采样时用 adaptive affordance guidance 约束 end-effector 靠近目标交互点，从而提升机器人操作在 unseen instances / unseen
  • 2506-CoTVLA ⭐⭐⭐⭐ CVPR 2025 — CoT-VLA 解决现有 Vision-Language-Action models 直接从 observation 和 language instruction 预测 action、缺少显式 temporal planning / reasoning 的问题。它让 7B VILA-U-based VLA 先 autoregressively 生成未来 subgoal image 作为 visua
  • 2506-ObjectCentricPrompt ⭐⭐⭐⭐ CVPR 2025 — CrayonRobo 提出一种 object-centric visual-language prompt 接口：在 RGB 图像上用蓝/红/绿/黄 crayon prompt 显式标注 contact point、gripper z-axis、gripper y-axis 和 contact 后 moving direction，并让 VLA 预测 SE(3) contact pose 与 3D
  • 2506-GarmentPile ⭐⭐⭐⭐ CVPR 2025 — GarmentPile 研究 cluttered garments retrieval：机器人需要从衣物堆中逐件取出 garment，同时避免目标衣物接触地面或拖出其他衣物。作者用 3D point cloud 学习 point-level retrieval affordance，并在整体 affordance 不足时触发 affordance-guided pick-and-place ada
  • 2506-SpatialTemporalGraph ⭐⭐⭐⭐ CVPR 2025 — KStar Diffuser 针对 bimanual imitation learning 中 next-best end-effector pose 只在 Cartesian space 优化、忽略 robot structure 与 kinematic feasibility 的问题，把 URDF-derived spatial-temporal robot graph 和 different
  • 2510-LearningPreciseAffordances ⭐⭐⭐⭐ ICCV 2025 — 这篇论文针对机器人操作中的 affordance learning，提出一个从 egocentric videos 自动收集精确 affordance mask、训练 Geometry-guided Affordance Transformer (GAT)、再部署到真实机器人 Aff-Grasp 的完整系统。核心区别是同时标注 graspable affordance 和 functional a
  • 2510-EmbodiedSplat ⭐⭐⭐⭐ ICCV 2025 — EmbodiedSplat 研究如何用低成本手机采集的真实部署环境，通过 3D Gaussian Splatting / Polycam 重建成 Habitat-Sim 场景，再在该场景中微调 ImageNav policy 以改善 real-to-sim-to-real navigation。核心结论是：对目标场景做个性化 fine-tuning 可以显著提升真实机器人 ImageNav 成功率
  • 2510-VQVLA ⭐⭐⭐⭐ ICCV 2025 — VQ-VLA 研究 VLA 中 action tokenization 的 scaling：用 convolutional residual VQ-VAE 把连续多步 robot action sequence 压缩成离散 action tokens，再替换 OpenVLA 的 per-dimension binning tokenizer。核心证据是，使用更大规模的 synthetic traj
  • 2510-RAGNet ⭐⭐⭐⭐ ICCV 2025 — RAGNet 把 affordance segmentation 扩展成面向 general grasping 的 reasoning-based benchmark：273k images、180 categories、26k reasoning instructions 覆盖 wild、robot、ego-centric、simulation 四类 embodied data domain。基
  • 2510-A0AnAffordance ⭐⭐⭐⭐ ICCV 2025 — A0 把 general robotic manipulation 拆成 high-level spatial affordance understanding 和 low-level action execution：前者预测 object-centric contact point 与 post-contact trajectories，后者把 2D waypoints 投影到 3D 并执行。
  • 2406-HierarchicalDiffusionPolic ⭐⭐⭐⭐ CVPR 2024 — HDP 把 language-guided multi-task robotic manipulation 分解为 high-level next-best pose prediction 和 low-level goal-conditioned diffusion control。核心贡献是 RK-Diffuser：同时学习 end-effector pose trajectory 与 join
  • 2406-AnInteractiveNavigation ⭐⭐⭐⭐ CVPR 2024 — ADIN 把 Interactive Navigation 中“是否值得互动清障”建模为 effect-oriented affordance：预测 obstacle 是否 pushable / pickable、当前 pose 是否可交互，以及移除该障碍的 expected time cost，再把这些信号投影成全局 affordance map 用于 FMM-style long-term p
  • 2406-VersatileNavigationUnder ⭐⭐⭐⭐ CVPR 2024 — 这篇论文研究 partial observability 下的 long-horizon navigation，把 diffusion policy 的 multi-step action trajectory generation 和 QMDP-style value guidance 结合起来，用 value function 在多个 diffusion plan candidate 中选计划
  • 2310-LearningForesightfulDense ⭐⭐⭐⭐ ICCV 2023 — 本文把 deformable object manipulation 的 pick-and-place policy 表示成 dense visual affordance，并引入 state value 让 affordance 对后续动作有 foresight，避免只按当前距离或 coverage 贪心导致的 local optima。它用 stage-by-stage supervised
  • 2606-HybridDriveVLA ⭐⭐⭐ CVPR 2026 — HybridDriveVLA 是一个 autonomous driving VLA：先用 Visual CoT 生成未来场景图像作为 visual goal，再用 ToT-Evaluation 为多条 waypoint 序列按 safety、progress、comfort 打分并选择轨迹。论文在 nuScenes 和 NAVSIM 上报告了较强的 planning 指标，但证据需要谨慎读，因为
  • 2506-ManiVideo ⭐⭐⭐ CVPR 2025 — ManiVideo 解决的是给定 hand/object motion signals 时生成双手-物体操作视频的问题，核心是用 multi-layer occlusion (MLO) representation 显式建模手指自遮挡和手-物相互遮挡。它把 Objaverse 的 object-only 3D 数据与有限 HOI video 数据联合训练，提升 unseen object 的外观/
  • 2510-CombatVLA ⭐⭐⭐ ICCV 2025 — CombatVLA 提出一个面向 3D ARPG combat tasks 的 3B Vision-Language-Action model：用 action tracker 收集 video-action pairs，构造 Action-of-Thought (AoT) 数据，再通过 truncated AoT 接入 keyboard/mouse action execution framew
  • 2501-CoVLA ⭐⭐⭐ WACV 2025 — CoVLA 提出一个面向 autonomous driving 的 Vision-Language-Action dataset：10,000 个真实驾驶视频片段、frame-level captions 和 future trajectory actions，并用自动标注与自动 captioning pipeline 扩展到 6M frames。作者还训练了 CoVLA-Agent 作为 bas

Agentic / LLM Agent(30 篇)

  • 2606-AMultiAgent ⭐⭐⭐⭐ CVPR 2026 — A4VL 是一个 training-free multi-agent perception-action alliance，用多个 VLM agent 在长视频 QA 中先生成 query-specific perception clue，再用 event-based block selection 找关键帧，最后通过多轮答案、理由、互评、pruning 达成 consensus。论文的主要证据是
  • 2606-RAAS ⭐⭐⭐⭐ CVPR 2026 — RAAS 关注 LLM agentic system 的 architecture search：已有 Agentic Supernet / MaAS 用单次 absolute performance 更新架构分布，容易把 query difficulty 和 execution randomness 当成 architecture merit。论文提出 Contextual Architectu
  • 2606-ARMThinker ⭐⭐⭐⭐ CVPR 2026 — ARM-Thinker 把 multimodal generative reward model 从一次性打分器改成带工具调用的 agentic judge：先 think，再调用 image crop / document retrieval / instruction checking tools 获取证据，最后给出可解释 judgment。论文同时提出 ARMBench-VL，用 Fine-
  • 2606-SAGE ⭐⭐⭐⭐ CVPR 2026 — SAGE 是一个面向 embodied AI 的 agentic 3D scene generation framework：给定开放文本任务，agent 通过 MCP 编排场景/资产生成器，并用 visual critic 与 Isaac Sim physics critic 迭代修正，产出 simulation-ready indoor scenes。论文进一步用 object/categor
  • 2606-AgenticVideoSummarization ⭐⭐⭐⭐ CVPR 2026 — AgenticVS 把 extractive video summarization 改写为一个固定的 Summarizer-Verifier-Reflector workflow：先用 V2I Alignment 产生初始 frame importance scores，再让 MLLM 检查低分帧的可信度，最后用 MLLM 生成视频摘要并由 CLIP similarity 校准可能漏掉的 key
  • 2506-VisualAgenticAI ⭐⭐⭐⭐ CVPR 2025 — VADAR 是一个 training-free 的 visual program synthesis 方法，用 LLM agents 为 3D spatial reasoning 动态生成 Pythonic API，再用该 API 合成可执行程序回答图像问题。论文同时提出 Omni3D-Bench，一个基于 Omni3D、包含 500 个 free-form 3D spatial QA 的 ben
  • 2606-Paper2Figure ⭐⭐⭐⭐ CVPR 2026 — Paper2Figure 解决从论文方法描述生成可编辑学术 figure 的问题：它用 FigScript 作为结构化中间表示，由 Generation Agents 生成初稿，再由 Refinement Agents 基于渲染图像迭代修改 FigScript，并接入 Web Editor 支持人工微调。作者构建 Paper2Figure Bench，用 100 个学术 figure-descri
  • 2606-OctoT2I ⭐⭐⭐⭐ CVPR 2026 — OctoT2I 把 Text-to-Image 生成建模成“质量达标前提下最小化推理成本”的 tool routing 问题，用 self-evolving mechanism 自动构建各 T2I 工具的能力知识库，再由 stateful multi-round router 在推理时选择工具。论文的核心价值不是提出新的 T2I backbone，而是证明 agentic router 可以在 G
  • 2606-SocraticGeo ⭐⭐⭐⭐ CVPR 2026 — Socratic-Geo 针对几何 VLM 推理中的高质量 image-text pair 稀缺问题，把 Teacher、Solver、Generator 连接成闭环：Solver 的失败触发 Teacher 用 Python 几何代码合成并验证新题，Generator 则从累积的 image-code-instruction 数据中蒸馏画图能力。实验上，Socratic-Solver-Geo 用
  • 2606-EvoGraphR1 ⭐⭐⭐⭐ CVPR 2026 — EvoGraph-R1 把 multimodal GraphRAG 从“离线构图 + 一次检索”改写为一个 agent-environment MDP：agent 在动态 multimodal knowledge hypergraph 上执行 G RAPH R ETRIEVE、W EB S EARCH、G RAPH E DIT、A NSWER，并通过 RL 学习何时检索、补充、修正或终止。论文的核
  • 2606-NERFIFY ⭐⭐⭐⭐ CVPR 2026 — NERFIFY 是一个面向 NeRF 论文复现的 multi-agent paper-to-code 框架，把 Nerfstudio 架构形式化为 CFG，并通过 compositional citation recovery、Graph-of-Thought repository generation 和 visual-driven feedback 生成可训练的 Nerfstudio plug
  • 2606-MangoBench ⭐⭐⭐⭐ CVPR 2026 — MangoBench 提出 goal-conditioned offline MARL 设定，并构建一个覆盖 locomotion 与 cooperative manipulation 的 multi-goal benchmark，用 sparse goal reward 评估多智能体策略是否能在无在线交互、无手工 dense reward 的条件下泛化到多个目标。论文的核心贡献是 benchma
  • 2606-ViLoMem ⭐⭐⭐⭐ CVPR 2026 — ViLoMem 针对 MLLMs 每道题 de novo 推理、反复犯同类视觉/逻辑错误的问题，提出一个 plug-in dual-stream memory framework，把 visual distraction patterns 和 logical hallucination errors 分别存成可检索、可合并的 schema。它用 grow-and-refine memory cyc
  • 2606-LearningtoAssist ⭐⭐⭐⭐ CVPR 2026 — AssistMimic 将 close-contact assistive human-human motion imitation 形式化为 multi-agent reinforcement learning，在 physics simulator 中联合训练 Supporter 和 Recipient 的 tracking controller，而不是把其中一方做 kinematic rep
  • 2606-TrainingOneModel ⭐⭐⭐⭐ CVPR 2026 — CrossHA 把 agent 的 action-space selection 从人工规则变成可学习的 policy：同一个 VLM-based agent 在 Minecraft 中根据当前 step 在 Raw、Motion、Grounding、Language、Latent 等 heterogeneous action spaces 之间切换，并用 Single-Turn GRPO + M
  • 2606-UnsupervisedMultiAgent ⭐⭐⭐⭐ CVPR 2026 — 这篇论文提出 UMS，一个利用 cooperative LiDAR views 在无人工标注条件下同时训练 multi-agent detector 和 single-agent detector 的 3D object detection 框架。核心思想是把多车共享点云带来的 density benefit 用于更可靠的 proposal filtering / stabilization，并把
  • 2606-InterAgent ⭐⭐⭐⭐ CVPR 2026 — InterAgent 面向 text-driven physics-based multi-agent humanoid control，提出 autoregressive diffusion transformer Inter-DiT，用 multi-stream block 分离 proprioception、exteroception 和 action，并用 Sparse Interacti
  • 2606-AgentDet ⭐⭐⭐⭐ CVPR 2026 — AgentDet 把 zero-/few-shot object detection 统一为一个 shared-blackboard multi-agent 流程：Agent-Scout 产生 holistic textual cues，Agent-Pinner 检索 fragment-level visual references，Agent-Curator 维护 pseudo-incremen
  • 2606-AMusE ⭐⭐⭐⭐ CVPR 2026 — AMusE 提出一个面向多说话人 audio-visual 理解的 benchmark，并用 zero-shot / guided / agentic 三种模式测试 MLLM 是否能在对话中做 speaker grounding、turn tracking、summary 和跨场景叙事链接。论文同时提出 RAFT，通过 Plan-Act-Reflect 格式、Reflective Reward O
  • 2606-AgenticRetoucherFor ⭐⭐⭐⭐ CVPR 2026 — Agentic Retoucher 把 T2I 生成后的局部 artifact 修复重写为 perception-reasoning-action loop：先定位细粒度失真区域，再做 human-aligned 诊断，最后调用局部 inpainting 工具修复。论文同时构建 GenBlemish-27K，提供 6,025 张 T2I 图像、27,507 个 pixel-level 失真标注和
  • 2606-Vinedresser3D ⭐⭐⭐⭐ CVPR 2026 — Vinedresser3D 提出一个 text-guided 3D editing agent：用 MLLM 理解编辑指令、生成多模态 guidance、自动定位 3D 编辑区域，再在 Trellis 的 native 3D latent space 中做 inversion-based inpainting。核心贡献不是训练一个端到端编辑模型，而是把 Gemini-2.5-Flash、Nano
  • 2606-UniversalGuidelineDriven ⭐⭐⭐ CVPR 2026 — 这篇论文提出一个 training-free 的 Guideline-Driven Image Clustering Agent，用 natural language guideline 统一 general clustering、multiple clustering、fine-grained clustering 和 long-tail e-commerce clustering。核心方法是先
  • 2606-TopoMA ⭐⭐⭐ CVPR 2026 — TopoMA 面向多 agent dense RGB 3D reconstruction，把场景拓扑显式建成 topology skeleton，并用它约束 tracking、loop closure、submap fusion 与 residual transport。核心贡献是把 end-to-end pointmap reconstruction 从单 agent / centralized
  • 2606-RLFTSim ⭐⭐⭐ CVPR 2026 — RLFTSim 针对 multi-agent traffic simulation 中 open-loop imitation learning 在 closed-loop rollout 下会累积误差、违反物理/交通规则的问题，把 WOSAC Realism Meta-Metric (RMM) 通过 Meta-metric Leave-One-Out (MLOO) 改造成 dense、low-v
  • 2606-SyncMos ⭐⭐⭐ CVPR 2026 — SyncMos 解决 multi-agent human-scene interaction 中跨 agent 动作时序不同步的问题：用 LLM 把自然语言任务转成带 sequential/parallel dependency 的事件图，再用 time-warping + Diffusion Posterior Sampling 在不重训 single-agent motion generato
  • 2606-TaskForce ⭐⭐⭐ CVPR 2026 — TaskForce 把 multi-task optimization 表述为 cooperative Markov game：每个任务对应一个 agent，基于 task losses 和 gradient Gram matrix 输出该任务梯度的 aggregation weight。它用 loss improvement 与 gradient convex-minimization sign
  • 2606-TacklingModelBias ⭐⭐⭐ CVPR 2026 — GECO 把 hateful meme classification 中的 LMM model bias 问题建模为 heterogeneous agents 之间的 game-theoretic collaboration，用 individual correctness、pairwise agreement 和 all-agent agreement 共同塑造 reward。它在 PrideM
  • 2606-Agent4FaceForgery ⭐⭐⭐ CVPR 2026 — Agent4FaceForgery 用 LLM-powered multi-agent simulation 生成更接近真实社交媒体语境的 face forgery multimodal training data：先模拟带 profile / memory / action 的伪造者迭代生成 forged blueprint，再用多角色 social simulation 构造 text-ima
  • 2606-MoReGen ⭐⭐⭐ CVPR 2026 — MoReGen 研究 Newtonian motion-controlled text-to-video：不用 diffusion 直接生成像素，而是让 multi-agent LLM 把文本转成 physics simulation code，再由 simulator / renderer 产生可复现的轨迹和视频。论文同时提出 MoReSet（1,275 个带轨迹标注的视频，覆盖 9 类 New
  • 2606-DualAgentReinforcement ⭐⭐⭐ CVPR 2026 — 这篇论文把 Visual-Inertial Odometry 中“何时运行 VO frontend”和“如何融合 VO/IMU 状态”两个工程决策显式建模为 sequential decision problems，用一个 IMU-only Select Agent 和一个 RL-based Fusion Agent 降低 VIBA 依赖。实验显示它在 EuRoC MAV / TUM-VI 上没有

GUI Agent / Computer-Use(28 篇)

  • 2606-WebGym ⭐⭐⭐⭐⭐ CVPR 2026 — WebGym 把 visual web agent training 的主要瓶颈拆成三件事：近 300k realistic live-website tasks、rubric-based binary evaluation、async rollout system，并用简单的 REINFORCE-style online RL 训练 Qwen3-VL-8B-Instruct。已知结果是：在网站完
  • 2606-OSOracle ⭐⭐⭐⭐⭐ CVPR 2026 — OS-Oracle 针对 computer-using agents 的 step-level action correctness 判断，提出了跨 Mobile / Web / Desktop 的 GUI critic 数据合成、训练和评测框架。核心做法是从正轨迹构造四类 hard negative，训练 Qwen2.5-VL-7B-based OS-Oracle-7B，并用 SFT + CP-
  • 2606-GUIDE ⭐⭐⭐⭐⭐ CVPR 2026 — GUIDE 提出一个面向 open-ended GUI tasks 的用户理解 benchmark，用 120 个 novice user demonstrations（67.5 小时、10 个软件）评估 MLLM 是否能从 screen recording 中识别 behavior state、预测 immediate intent，并判断是否/如何提供 help。核心贡献不是更强的 GUI a
  • 2510-UINavBench ⭐⭐⭐⭐⭐ ICCV 2025 — UINavBench 提出一个面向 mobile UI 的 online benchmark，用 116 个任务、36 个 apps 评估 interactive digital agents 的 multi-step planning、visual grounding、memory / knowledge 使用和动态环境恢复能力。它的贡献不只是任务集合，而是把任务 taxonomy、iOS st
  • 2606-ReFAct ⭐⭐⭐⭐ CVPR 2026 — ReFAct 针对 Multimodal Web Search Agent 在 cluttered images 和 noisy retrieval context 中容易被误导的问题，把 Grounding、Defocus、Refocus 作为显式 focusing actions 加入 Reasoning-Acting loop。作者同时构建了 GroundedVQA，用小目标、高噪声、必须外
  • 2606-AdapAction ⭐⭐⭐⭐ CVPR 2026 — AdapAction 研究 GUI agents 的训练时 backdoor 风险，指出固定 trigger-action mapping 容易因语义/视觉不一致被发现。它通过 Active-Policy Distillation / Context-Aware Behavioral Imitation，把由 adversarial teacher MLLM 生成的上下文相关恶意轨迹蒸馏进 GUI
  • 2606-HiconAgent ⭐⭐⭐⭐ CVPR 2026 — HiconAgent 把 GUI agent 的历史上下文使用问题放进 RL 训练，提出 History Context-aware Policy Optimization (HCPO)：用 Dynamic Context Sampling 让策略在训练中见到不同长度历史，再用 Anchor-guided History Compression 在早期融合后丢弃历史截图、保留历史动作 anchor
  • 2606-LearningtoAdapt ⭐⭐⭐⭐ CVPR 2026 — 本文提出 SCALE，通过 Selector / Predictor / Judger 的自对抗探索，让 MLLM-based web agent 主动发现自己不理解的网页交互，并用这些 mismatch traces 更新能力边界。SCALE-Hop 进一步把探索历史组织成 graph，避免局部页面陷阱；作者还基于 19 个真实网站构造 SCALE-20k，用于 single-step、mult
  • 2606-Ego2Web ⭐⭐⭐⭐ CVPR 2026 — Ego2Web 是一个把 egocentric video perception 和 live web-agent execution 绑定在一起的 benchmark：agent 必须先从第一人称视频中定位任务相关视觉线索，再在真实网站上完成对应操作。论文同时提出 Ego2WebJudge，用 visual evidence、action history、screenshots 和 final
  • 2606-TowardsGUIAgents ⭐⭐⭐⭐ CVPR 2026 — 这篇论文研究 discrete diffusion VLM 是否能作为 AR VLM 之外的 GUI grounding 建模范式，并把 LLaDA-V 适配为 single-turn action + bounding-box text generation。核心方法是 hybrid masking：先用 linear masking 学 action type 和 anchor 坐标，再用 f
  • 2606-HATS ⭐⭐⭐⭐ CVPR 2026 — HATS 把 GUI agent 轨迹合成中的核心瓶颈定义为 semantic-ambiguous actions 覆盖不足和 instruction-execution misalignment，并用 hardness-driven exploration + alignment-guided refinement 的闭环 HD-MCTS 来合成更难、更对齐的训练轨迹。实验显示，在同样 1K t
  • 2606-iSHIFT ⭐⭐⭐⭐ CVPR 2026 — iSHIFT 提出一个约 2.5B 参数的 vision-only GUI agent，用 latent thinking tokens 做隐式 deliberation，并在需要精细 grounding 时生成 latent perception tokens 触发 DINO-based Visual Perception Module。核心结果是在 AITW 上达到 76.34 AMS，接近
  • 2601-AFRAgent ⭐⭐⭐⭐ WACV 2026 — AFRAgent 针对 mobile GUI automation 中 VLM spatial features 分辨率不足和大模型部署成本高的问题，在 InstructBLIP 上加入 Adaptive Feature Renormalization (AFR)：用 image embeddings / high-resolution crops 生成 token-level affine sc
  • 2601-ZonUI3B ⭐⭐⭐⭐ WACV 2026 — ZonUI-3B 研究 GUI grounding 中“小模型能否靠数据配方和训练策略接近大模型”的问题，以 Qwen2.5-VL-3B 为 backbone，通过跨平台/多分辨率数据整合、冗余采样和两阶段 LoRA fine-tuning，在单张 RTX 4090 上训练出 3B GUI grounding VLM。核心贡献不是新架构，而是证明 24K 多样化样本 + Stage 1 cross
  • 2510-VisualTestTime ⭐⭐⭐⭐ ICCV 2025 — RegionFocus 是一个用于 GUI agent grounding 的 visual test-time scaling 方法：当初始 action 可能出错时，它让 VLM 先提出 focal point，再围绕该点生成局部 region、分别预测区域 action，并用 image-as-map 的视觉 landmark 聚合候选动作与记录历史。论文在 ScreenSpot-Pro 和
  • 2406-DualViewVisual ⭐⭐⭐⭐ CVPR 2024 — 这篇论文提出 Dual-View Contextualized Representation (DUAL-VCR)，把 HTML element 在 rendered screenshot 中的 bounding box、视觉内容和邻近元素文本合并进 web navigation 的 element representation。它不是替换 MindAct 的两阶段框架，而是在 ranker 和
  • 2606-ExposingAndEvaluating ⭐⭐⭐⭐ CVPR 2026 — 这篇论文把 GUI grounding 中的 hallucination 明确拆成 Confusion Hallucination 与 Fabricated Hallucination，并构建 GUI-HalluBench 来同时评估 GUI parsing 和 grounding hallucination。作者进一步提出 training-free 的 Parsing-guided Promp
  • 2606-TrainingHighLevel ⭐⭐⭐⭐ CVPR 2026 — 本文针对 long-horizon GUI automation 中的责任耦合与任务状态丢失问题，提出 CES：用训练过的 Coordinator 和 State Tracker 给冻结的低层 Executor 提供 atomic instruction 与高语义状态记忆。核心训练策略是 staged execution-feedback RL：不直接评价 planner/state summar
  • 2606-SeeThinkAct ⭐⭐⭐⭐ CVPR 2026 — 这篇论文指出 GUI agents 在执行 toggle control instruction 时有系统性短板，尤其容易在目标状态已经满足时仍然点击，造成 false positive toggling。作者构建 state control benchmark，并提出 State-aware Reasoning (StaR)，通过训练让 agent 显式执行 perceive current s
  • 2606-CGL ⭐⭐⭐⭐ CVPR 2026 — CGL 研究 GUI agent 在应用类别连续到来时如何学习新 GUI task 而不遗忘旧 task，并把问题形式化为 Continual GUI Learning。方法上，它在 GRPO 的稳定性和 SFT 的快速适应之间做动态协同：用 Error-Aware Routing 注入监督样本、用 entropy-regulated SFT weight 控制探索/收敛、用 Gradient S
  • 2606-GUISAGE ⭐⭐⭐⭐ CVPR 2026 — GUI-SAGE 针对 GUI automation 中 on-policy RLVR 容易陷入 zero-advantage trap 的问题，提出用 ground-truth action 作为 hint 让当前 policy 生成 self-explanation，从而得到 in-distribution 的正样本学习信号。方法进一步用 Entropy-Modulated Credit As
  • 2606-ShowUIp ⭐⭐⭐⭐ CVPR 2026 — ShowUI-π 把 GUI agent 的动作从离散 click / start-end drag token 推进到连续鼠标轨迹生成：用 SmolVLA-450M + flow matching action expert 统一建模 click 和 drag。论文同时提出 ScreenDrag：20K drag training trajectories 和 505 个 evaluation
  • 2606-MVP ⭐⭐⭐⭐ CVPR 2026 — MVP 关注 GUI grounding 中的 coordinate prediction instability：轻微视觉扰动会让同一模型的坐标预测在正确和错误之间翻转。论文提出 training-free 的 Multi-View Prediction，通过 attention-guided cropping 生成多视图，再用 spatial clustering 聚合多次坐标预测，在 Scr
  • 2606-DRSGUI ⭐⭐⭐⭐ CVPR 2026 — DRS-GUI 把 GUI grounding 改写为 search-then-predict：先用 training-free 的 dynamic region search 找到 instruction-relevant region，再让基础 MLLM 在该 crop 内预测坐标。核心贡献是把 UI Perceptor、Focus/Shift/Scatter 三种 perceptual ac
  • 2606-BAMI ⭐⭐⭐⭐ CVPR 2026 — BAMI 提出一种 training-free GUI grounding inference method：先用 MPD attribution 诊断 ScreenSpot-Pro 上的错误来源，再用 coarse-to-fine focus 和 candidate selection 缓解 precision bias / ambiguity bias。核心结果是在 ScreenSpot-Pr
  • 2506-MPGUI ⭐⭐⭐⭐ CVPR 2025 — MP-GUI 针对 GUI screenshot 中 text、graphics、spatial structure 混杂且不同任务偏好不同的问题，在 MLLM 上加入 Textual / Graphical / Spatial perceivers 和 Fusion Gate，生成 task-oriented GUI-tailored visual clues。作者用 0.68M GUI-spe
  • 2506-ScalableVideoTo ⭐⭐⭐⭐ CVPR 2025 — MONDAY 把公开 YouTube mobile OS instructional videos 自动转成 mobile navigation dataset，得到 20K videos / 313K annotated frames，覆盖 iOS 和 Android。核心方法是 OCR-based scene transition detection、mobile-specific UI el
  • 2510-IrisBreakingGUI ⭐⭐⭐⭐ ICCV 2025 — Iris 针对 GUI agent 在高分辨率、信息密度不均的界面上容易丢失小而关键 UI element 的问题，提出 Information-Sensitive Cropping (ISC) 和 Self-Refining Dual Learning (SRDL)。ISC 用 edge detection 和 adaptive cropping 把视觉 token 分配到信息更密集的区域，SR

Spatial Reasoning / 3D(25 篇)

  • 2606-ScalingSpatialIntelligence ⭐⭐⭐⭐⭐ CVPR 2026 — 这篇论文用 data-centric scaling 而非改架构的方式，在 Qwen3-VL、InternVL3、Bagel 等 multimodal foundation models 上继续训练 SenseNova-SI-8M/8.5M 级空间 QA 数据，以提升 spatial intelligence。核心贡献是把 Metric Measurement、Spatial Relations、
  • 2606-SpaceTools ⭐⭐⭐⭐⭐ CVPR 2026 — SpaceTools 提出 Double Interactive Reinforcement Learning (DIRL)，让 Qwen2.5-VL-3B-Instruct 学会在 spatial reasoning 中多轮调用 pointing、segmentation、depth、3D bbox、grasp 和 robot tools。核心不是把所有几何能力塞进 VLM，而是通过 Tools
  • 2606-SpatialScore ⭐⭐⭐⭐⭐ CVPR 2026 — SpatialScore 是一个面向 MLLM spatial intelligence 的综合评测与改进工作：作者构建 5,025 个手工验证样本、30 个任务、10 个类别的 benchmark，并在 49 个 MLLM 上显示当前模型距离 human-level 仍有大 gap。论文进一步给出两条改进路线：用 330,802 个 SpatialCorpus QA 样本做 SFT，以及用包含
  • 2606-ContextNav ⭐⭐⭐⭐ CVPR 2026 — Context-Nav 解决 text-goal instance navigation 中长描述常被降级为局部检测/匹配信号的问题：它把完整 caption 转成探索阶段的 context-conditioned value map prior，并在停止前用 viewpoint-aware 3D spatial reasoning 验证候选实例的外部空间关系。已知结果是：在 InstanceNa
  • 2506-ReasonGrounder ⭐⭐⭐⭐ CVPR 2025 — ReasonGrounder 面向 open-vocabulary 3D visual grounding and reasoning：给定隐式语言描述和有遮挡的 3D 场景，系统需要推断目标物体并定位其完整区域。方法把 LVLM 的 implicit instruction understanding 与 scale-hierarchical 3D feature Gaussian field
  • 2510-HERMES ⭐⭐⭐⭐ ICCV 2025 — HERMES 将 Driving World Model 从单纯 future point cloud generation 扩展到 unified 3D scene understanding + generation：用 BEV tokenizer 压缩六视角输入，并用 world queries 通过 LLM causal attention 把文本侧 world knowledge 传给
  • 2606-PanoEnv ⭐⭐⭐⭐ CVPR 2026 — PanoEnv 提出一个面向 360° ERP panoramic images 的 3D spatial reasoning VQA benchmark，并用 TartanAir 的 depth、segmentation、3D geometry 生成可验证 QA 与 reward。作者在 Qwen2.5-VL-7B-Instruct 上用 GRPO、geometry-aware routed r
  • 2606-ScalableObjectRelation ⭐⭐⭐⭐ CVPR 2026 — QuatRoPE 解决 3D LLM 中对象关系编码的 scalability 与几何一致性问题：它把每个 object-related token 的 3D 绝对坐标用 quaternion rotation 注入 query/key，并让 attention dot product 显式转化为 pairwise relative positions。IGRE 进一步把 QuatRoPE 与 l
  • 2606-OpenVoxel ⭐⭐⭐⭐ CVPR 2026 — OpenVoxel 解决的是 open-vocabulary 3D scene understanding 中“把语言能力放进 3D 表示”的成本和表达瓶颈：它不训练 CLIP/BERT-style 3D language field，而是把 SVR voxels 聚成 object-level groups，再用 VLM/MLLM 为每个 group 生成 canonical captions，
  • 2606-ExploringSpatialIntelligen ⭐⭐⭐⭐ CVPR 2026 — 这篇论文提出 Generative Spatial Intelligence (GSI)，把 spatial intelligence 从传统的 recognition / QA-style understanding 扩展到图像生成与编辑时能否遵守 3D spatial constraints。作者构建 GSI-Bench，包括真实图像的 GSI-Real 与仿真生成的 GSI-Syn，并显示仅
  • 2606-WRIVINDER ⭐⭐⭐⭐ CVPR 2026 — WRIVINDER 解决 ground-level images 与 geo-registered satellite maps 在大视角差、尺度差和 GPS 不可靠场景下难以对齐的问题：它把多张地面图像先重建为 3D scene，再生成 zenith-view 3DGS rendering 去和 satellite tile 做几何对齐。论文同时提出 MC-Sat dataset，把 multi
  • 2606-EG3DVG ⭐⭐⭐⭐ CVPR 2026 — EG-3DVG 面向 3D Visual Grounding 中的 cross-modal misalignment、intra-class confusion 和 geometric reasoning error，提出 expression and geometry aware grounding decoder，把 PECA、GMA 和 ECL 三个模块组合到 3DREC / 3DRES 统
  • 2606-Thinkwith3D ⭐⭐⭐⭐ CVPR 2026 — 这篇论文提出 3DThinker：让 VLM 在推理轨迹中生成 3D special tokens，并将这些 token 的 hidden states 对齐到 VGGT 的 3D feature space，再用 outcome-based RL 优化整体推理。它的核心价值不是多加一个外部 3D 输入，而是在 limited views 的 spatial reasoning 中把几何 late
  • 2606-DENALI ⭐⭐⭐⭐ CVPR 2026 — DENALI 是一个面向 low-cost LiDAR 的 real-world NLOS spatial reasoning 数据集，收集 72,000 个隐藏物体场景的 full time-resolved histograms，并为每个 capture 配对 Mitsuba 3 digital twin。论文证明消费级 dToF LiDAR 的多次反射 histogram 足以支持数据驱动的
  • 2606-MaskingMatters ⭐⭐⭐⭐ CVPR 2026 — 3D-SLIM 解决 object-centric 3D LLM 直接沿用 causal decoder mask 时产生的两个错配：3D objects 被人为序列化，且 object tokens 不能直接访问 instruction tokens。方法只替换 self-attention mask，不改模型结构、不加参数，用 Geo Mask 建模基于空间密度的局部 object-objec
  • 2606-HearYouAre ⭐⭐⭐⭐ CVPR 2026 — 这篇论文定义 Audio-Visual Spatial Reasoning：模型需要在视觉场景和 binaural spatial audio 之间推理空间关系，而不是只做语义或时间对齐。作者构建 Hear You Are QA，包含 1 million question-answer pairs，并提出 Hear You Are LLM，用 panoramic vision encoder、sp
  • 2606-InfiniBench ⭐⭐⭐⭐ CVPR 2026 — InfiniBench 是一个 fully automated benchmark generator，把自然语言 scene description 转成可控复杂度的 photorealistic 3D scene / video，用于诊断 VLM 的 visual spatial reasoning failure。核心贡献不是一个固定 benchmark，而是用 LLM-based cons
  • 2606-UZ3DVG ⭐⭐⭐⭐ CVPR 2026 — UZ3DVG 解决 Zero-Shot 3D Visual Grounding 中推理阶段依赖 2D 图像、LLM/VLM 交互导致慢和部署复杂的问题。核心做法是把 VLM 放到训练阶段生成 3D spatial pseudo-labels 与 structured reasoning chains，再通过 RCD、TSVDE、GeoSM 训练轻量 3DVG 模型，使推理只需要 point clo
  • 2606-GeometricallyConstrainedAg ⭐⭐⭐⭐ CVPR 2026 — GCA 解决 VLM spatial reasoning 中的 semantic-to-geometric gap：VLM 擅长语义解释，但在高精度几何、参考系和视角变换上容易在 lossy semantic space 中做错。方法是 training-free agentic paradigm，先让 VLM 把问题 formalize 成 formal task constraint $C_{
  • 2606-LiftingUnlabeledInternet ⭐⭐⭐⭐ CVPR 2026 — 这篇论文提出 SceneVerse++：从 unlabeled internet housing-tour videos 自动生成 3D scene understanding 训练数据，覆盖 3D detection / instance segmentation、3D spatial VQA 和 VLN。核心贡献不是单个新模型，而是分析怎样把 SfM、dense reconstruction、
  • 2606-PVGround ⭐⭐⭐⭐ CVPR 2026 — PV-Ground 针对 3D visual grounding 中 point-based backbone 过度下采样导致细粒度空间信息丢失的问题，提出 text-guided point-voxel interaction framework。它用 sparse voxel convolution 保留高分辨率 3D scene features，再把 voxel feature pyram
  • 2606-CurvatureAwareCaptioning ⭐⭐⭐⭐ CVPR 2026 — CAC 针对 3D dense captioning 中 object localization 与 scene-level semantic contextualization 的张力，提出把 encoder self-attention 放到 Oblique Manifold、把 decoder bidirectional cross-attention 放到 Lorentz Space 的
  • 2606-SoPE ⭐⭐⭐⭐ CVPR 2026 — SoPE 指出 3D LVLM 直接继承 RoPE 会把 point-cloud tokens 压成 1D raster index，使相对位置主要依赖序列距离而忽略真实 3D 位置与方向，从而产生 spatial perception bias。它把 token 位置重参数化为 spherical tuple (t, r, θ, ϕ)，再配合 t:r:θ:ϕ = 24:2:3:3 的 f
  • 2606-TowardsFoundationModels ⭐⭐⭐⭐ CVPR 2026 — PointINS 针对 point cloud SSL 主要学习 semantic consistency、但迁移到 instance / panoptic segmentation 时 instance awareness 不足的问题，提出在 teacher-student self-distillation 中加入 offset branch，并用 ODR + SCR 约束无标签 offset
  • 2606-Learning3DRepresentations ⭐⭐⭐⭐ CVPR 2026 — UniSplat 是一个从 unposed multi-view images 学习 unified 3D representation 的 feed-forward framework，把 geometry、appearance、semantics 和 camera estimation 放进同一个训练目标。核心方法是 dual masking 做 geometry induction、coar