基于 轮足机器人 + 双臂 平台,端到端地实现以下语音控制技能:
- 关灯 —— 通过语音指令控制机器人识别并关闭灯具开关。
- 捡东西丢垃圾桶里 —— 拾取地面散落物体并投入垃圾桶。
- 把地上的东西放桌子上 —— 拾取地面物体并放置到桌面指定位置。
- 叠衣服 —— 抓取平铺衣物进行折叠整理。
搭建并维护 Agent-VLA-LLM 解耦协作框架,实现 VLA 服务接口、配置管理、Git 协作流程和本地联调测试。同时负责采集机器人任务数据、训练 SmolVLA 模型,并将训练好的模型接入框架,实现捡球、关灯等桌面机器人技能的可扩展部署。
在 rk3588 开发板上开发轮足机器人,实现平衡控制、机械臂托举等功能。并将 Starry OS 改造成实时操作系统,移植到机器人上。
针对 Orange Pi AIpro 20T 平台,实现 SmolVLA 论文当中的异步推理,并利用昇腾的 NPU 完成 SmolVLA 的推理加速、优化、部署。
阶段 1
- 目标: 在 mock 栈上跑通「指令 → 意图识别 → 技能调用 → 收执行状态 → 视觉判定 → 重试 / 下一步」完整编排状态机。
- 验收:
bash scripts/smoke_test.sh通过;说法多样的指令能正确路由;失败能触发重试。 - 产出: 可演的 mock demo + Agent 层设计文档。
阶段 2
- 目标: mock 技能换成真实 VLA(先仿真),对接语音、对接视觉判定;在仿真中跑通「语音指令 → Agent 编排 → 真实技能执行 → 视觉反馈 → 重试」完整闭环。
阶段 3
- 目标: 实现真机演示,辅助完成 26OS 秋冬季训练营的筹备工作。