Skip to content

[Issue #11] 实现 ACT 下的小车 SimToReal / RealToReal,打通视觉训练与真实小车客户端#15

Open
saymain wants to merge 1 commit into
chenlongos:mainfrom
saymain:issue11-saymain
Open

[Issue #11] 实现 ACT 下的小车 SimToReal / RealToReal,打通视觉训练与真实小车客户端#15
saymain wants to merge 1 commit into
chenlongos:mainfrom
saymain:issue11-saymain

Conversation

@saymain

@saymain saymain commented Mar 21, 2026

Copy link
Copy Markdown

对应 Issue

Closes #11

项目归属

本次提交只对应项目三:实现 ACT 下的小车 SimToReal / RealToReal。

本次完成内容

  1. 打通 RealToReal / SimToReal 数据接入链路
  2. 打通 ACT 视觉训练链路,支持图像参与训练
  3. 打通 ACT 在线视觉推理链路,支持图像参与实时推理
  4. 新增真实小车采集脚本
  5. 新增真实小车在线视觉推理客户端
  6. 新增摄像头图像处理与复用模块
  7. 补充 API 文档与接入说明文档

主要改动

后端

  • 新增真实/仿真统一数据接入能力
  • 支持视觉数据进入 ACT 训练流程
  • 支持视觉模型 checkpoint 保存与恢复
  • 支持 HTTP / WebSocket 视觉推理

脚本

  • 新增真实小车采集脚本
  • 新增真实小车在线推理脚本
  • 新增真实小车公共工具模块

前端

  • 在仿真 ACT 推理时同步上传当前第一人称图像

文档

  • 补充 SimToReal / RealToReal 接入说明
  • 补充 ACT 调用链说明
  • 更新 API 文档

主要文件

  • backend/app/routes/api.py
  • backend/app/routes/websocket.py
  • backend/train.py
  • backend/utils/image_utils.py
  • backend/cameras/opencv/camera_opencv.py
  • backend/transfer/
  • scripts/real_car_common.py
  • scripts/real_car_collect.py
  • scripts/real_car_infer.py
  • frontend/src/pages/SimPage.tsx
  • docs/src/api.md
  • 小车RealToReal和SimToReal接入.md
  • act调用链.md

验证结果

已完成以下验证:

  1. Python 侧静态检查通过
  2. real_car_collect.py --help 可正常运行
  3. real_car_infer.py --help 可正常运行
  4. 视觉训练最小样例可跑通,ACT.forward() 输出形状正确
  5. 前端 npm --prefix frontend run build 通过

截图 / 运行说明

1. 前端 ACT 推理界面

前端仿真界面已成功加载模型 act_20260321_104803,ACT 推理状态为“运行中”,并已输出动作结果。当前截图使用临时生成的演示模型,因此模型已进入推理状态,但当前输出动作为 stop

eb1904f5cdb86375bd8811feb7381e0e

2. real_car_collect.py --help

真实小车采集脚本可正常启动并输出帮助信息。
4d462e85337e5e95bcacd7b87a0f3149

3. real_car_infer.py --help

真实小车在线视觉推理客户端可正常启动并输出帮助信息。
dbbdb57d7875ed9be6992f82ffc833b8

4. 前端构建成功

前端执行 npm --prefix frontend run build 后构建成功。
44057ab41e2a13c74c8f1437cf388649

运行方式

venv/bin/python scripts/real_car_collect.py --help
venv/bin/python scripts/real_car_infer.py --help
npm --prefix frontend run build

fontlos pushed a commit to fontlos/AKA-Sim that referenced this pull request Mar 26, 2026
* feat: add init command, add ip in html, add get ip route, support http and https, add torque limit to protect motor

* docs: add init md, add how to change avahi, add boot init file
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

小车部分:实现ACT下的SimToReal或RealToReal

1 participant