Skip to content

docs(06_Manipulation): 新增 EgoVLA 第一视角人类视频 VLA 论文笔记并同步进度#347

Merged
ImChong merged 1 commit into
mainfrom
claude/stoic-davinci-997nvk
Jul 1, 2026
Merged

docs(06_Manipulation): 新增 EgoVLA 第一视角人类视频 VLA 论文笔记并同步进度#347
ImChong merged 1 commit into
mainfrom
claude/stoic-davinci-997nvk

Conversation

@ImChong

@ImChong ImChong commented Jul 1, 2026

Copy link
Copy Markdown
Owner

概述

每日论文总结任务 · 轨 B 模块轮转(05_Locomotion → 06_Manipulation)第 295 篇。

新增 EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos(arXiv:2507.12440,UC San Diego 王小龙组 + NVIDIA + MIT)论文笔记。

核心内容

  • 问题:真机数据采集贵、规模与多样性受限,制约模仿学习。
  • 思路:先在海量第一视角人类操作视频上预训练 VLA(预测人手手腕位姿 + MANO 手型),用「手腕位姿 + MANO」把人与机器人统一到同一动作空间;部署时经逆运动学 + 重定向 + 小 MLP 把人手动作映射为机器人灵巧手关节指令;再用少量真机演示微调得到人形双手操作策略。
  • 基准:开源 Ego Humanoid Manipulation Benchmark(Isaac Lab · Unitree H1 + 双 Inspire 手 · 12 个双手任务)。
  • 结果:人类视频预训练在所有任务上显著优于无预训练基线,长程/精细任务与未见视觉场景下增益尤为明显。
  • 笔记含 PDF / HTML / 项目主页 / 训练与仿真源码链接,以及一张 mermaid 流程图

变更文件

自检

  • python3 scripts/prepare_pages.py 重新生成索引
  • python3 scripts/sync_progress.py 白名单校验通过(2507.12440 在上游 awesome-humanoid-robot-learning 收录)
  • pytest tests/test_prepare_pages.py 21 passed
  • zhname 为论文中文名称,简要描述位于 H1 下方 **...**

🤖 Generated with Claude Code

https://claude.ai/code/session_01KQGBnnipNxg5dfRYssgMGw


Generated by Claude Code

- 新增 EgoVLA (arXiv:2507.12440) 论文笔记,含方法详解与 mermaid 流程图
- 核心:用海量第一视角人类操作视频预训练 VLA(预测人手手腕位姿 +
  MANO 手型),以「手腕位姿 + MANO」统一人/机器人动作空间;部署时经
  逆运动学 + 重定向 + 小 MLP 把人手动作映射为机器人灵巧手关节指令,
  再用少量真机演示微调得到人形双手操作策略;配套开源 Ego Humanoid
  Manipulation Benchmark(Isaac Lab · Unitree H1 + 双 Inspire 手 · 12 双手任务)
- 同步 PROGRESS.md(#295 标记已总结)、progress.json、_data/papers.json、
  DAILY_SUMMARY_LOG.md(更新轮转指针 → 07_Teleoperation)

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01KQGBnnipNxg5dfRYssgMGw
@ImChong ImChong merged commit c3cde40 into main Jul 1, 2026
1 check passed
@ImChong ImChong deleted the claude/stoic-davinci-997nvk branch July 1, 2026 12:53
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants