关于部署parkour策略的细节问题

[XuJiahaoMuggle]

您好，我正在基于您的工作做sim2sim(isaacsim to mujoco)，目前仍然没法实现0速度稳定站立，有下面几点问题想请教一下您：

• 我很好奇您在里面data&model所使用的的stand on board策略是能够让机器人在深度图像为全0的情况下稳定站立的嘛？我将stand on board作为最开始的策略，发现机器人踉踉跄跄走几步就摔倒了
• 我看到策略频率为50HZ，但是控制频率(dds写action)也只有50HZ，控制频率一般好像都是500/1000HZ，这样机器人也是能够稳定站立的嘛？
• 我在env.yaml中看到很多没见过的变量：如joint_signs，为什么要对腰部关节乘一个负号啊？

希望能够得到您的回复:)

[XuJiahaoMuggle]

emmm，我又尝试将这个项目直接接在了unitree_mujoco上(unitree-ros2可以跟unitree-sdk通信)：

• 将sim2sim的realsense相机数据变成了np.zeros((270, 480), dtype=np.float32)（stand策略下depth image为全0）
• 运行python scripts/g1_parkour.py --logdir=data&model/checkpoints/parkour_onboard_preview_stair --standdir=./data&model/checkpoints/stand_onboard --nodryrun

在stand策略下机器人依旧倒在地上狂抖，请问是策略文件没有更新的原因嘛

[XuJiahaoMuggle]

好吧，我发现hiking-in-the-wild的urdf文件中的root是torso而不是pelvis，因此sim2sim时imu也要选择torso_imu(在部分mjcf文件中被定义成secondary_imu)，这样操作之后sim2sim会正常一些(起码能站住了)

[konyyds]

emmm，我又尝试将这个项目直接接在了unitree_mujoco上(unitree-ros2可以跟unitree-sdk通信)：

* 将sim2sim的realsense相机数据变成了`np.zeros((270, 480), dtype=np.float32)`（stand策略下depth image为全0）

* 运行`python scripts/g1_parkour.py --logdir=data&model/checkpoints/parkour_onboard_preview_stair --standdir=./data&model/checkpoints/stand_onboard --nodryrun`

在stand策略下机器人依旧倒在地上狂抖，请问是策略文件没有更新的原因嘛

我也尝试在untree_mujoco中sim2sim，遇到了同样的机器人抖动问题，请问你是如何解决的呢？

• 运行python g1_locomotion.py --nodryrun --logdir xxx，g1_locomotion.py 注册了来自walk_agent.py中的WalkAgent，--logdir: instinctlab中locomotion训练的策略
• 我发现ColdStartAgent也会异常抖动，因此将kpkd_factor由默认2.0调整到0.5

[INFO] [1774618498.311723023] [unitree_node]: Low state data received.
[INFO] [1774618498.312130097] [unitree_node]: Torso IMU data received.
[INFO] [1774618498.321308115] [unitree_node]: Wireless controller data received.
[INFO] [1774618498.321511285] [unitree_node]: All necessary buffers received, the robot is ready to go.
[INFO] [1774618498.323657893] [unitree_node]: Starting main loop with duration: 0.02 seconds.
[INFO] [1774618498.323854988] [unitree_node]: G1LocoNode is ready to run.
[INFO] [1774618498.344010385] [unitree_node]: Starting cold start agent automatically.
[INFO] [1774618499.283974821] [unitree_node]: ColdStartAgent done, press 'R1' to switch to walk agent.
[INFO] [1774618504.224378257] [unitree_node]: R1 button pressed, switching to walk agent.
[ERROR] [1774618504.454883627] [unitree_node]: Joint 27(sim), 5(real) position out of range at -0.5436453223228455
[ERROR] [1774618504.455022850] [unitree_node]: The motors and this process shuts down.
Node shutdown complete.

[XuJiahaoMuggle]

到了同样的机器人抖动问题，请问你是如何解决的呢？

• 运行python g1_locomotion.py --nodryrun --logdir xxx，g1_locomotion.py 注册了来自walk_agent.py中的WalkAgent，--logdir: instinctlab中locomotion训练的策略
• 我发现ColdStartAgent也会异常抖动，因此将kpkd_factor由默认2.0调

sim2sim是可以成功的，但是需要注意：

1. ColdStartAgent抖动很大程度是unitree_mujoco里面的mjcf模型文件有问题，同时他的代码也过于奔放，你直接替换mjcf文件估计就跑不起来了；
2. 后续尝试站立和行走策略时：hiking-in-the-wild是以torso作为root的，所以你仿真端发送的root quat, root ang vel都必须是torso的，而不是pelvis的(大部分项目都是选择pelvis作为root的)，unitree_mujoco中的代码只会发送pelvis的imu数据，所以你需要在仿真中把torso的imu数据发送出去；
3. 可以参考下nvidia的sonic的mujoco sim代码，那里面会发送torso_imu(secondary_imu)的数据

[RajeshSanghvi]

到了同样的机器人抖动问题，请问你是如何解决的呢？

• 运行python g1_locomotion.py --nodryrun --logdir xxx，g1_locomotion.py 注册了来自walk_agent.py中的WalkAgent，--logdir: instinctlab中locomotion训练的策略
• 我发现ColdStartAgent也会异常抖动，因此将kpkd_factor由默认2.0调

sim2sim是可以成功的，但是需要注意：

1. ColdStartAgent抖动很大程度是unitree_mujoco里面的mjcf模型文件有问题，同时他的代码也过于奔放，你直接替换mjcf文件估计就跑不起来了；
2. 后续尝试站立和行走策略时：hiking-in-the-wild是以torso作为root的，所以你仿真端发送的root quat, root ang vel都必须是torso的，而不是pelvis的(大部分项目都是选择pelvis作为root的)，unitree_mujoco中的代码只会发送pelvis的imu数据，所以你需要在仿真中把torso的imu数据发送出去；
3. 可以参考下nvidia的sonic的mujoco sim代码，那里面会发送torso_imu(secondary_imu)的数据

请问在sim2sim的过程中，机器人能顺利上楼梯吗？我发现我的sim2sim在上楼梯几步以后就会倒地

[XuJiahaoMuggle]

到了同样的机器人抖动问题，请问你是如何解决的呢？

• 运行python g1_locomotion.py --nodryrun --logdir xxx，g1_locomotion.py 注册了来自walk_agent.py中的WalkAgent，--logdir: instinctlab中locomotion训练的策略
• 我发现ColdStartAgent也会异常抖动，因此将kpkd_factor由默认2.0调

sim2sim是可以成功的，但是需要注意：

1. ColdStartAgent抖动很大程度是unitree_mujoco里面的mjcf模型文件有问题，同时他的代码也过于奔放，你直接替换mjcf文件估计就跑不起来了；
2. 后续尝试站立和行走策略时：hiking-in-the-wild是以torso作为root的，所以你仿真端发送的root quat, root ang vel都必须是torso的，而不是pelvis的(大部分项目都是选择pelvis作为root的)，unitree_mujoco中的代码只会发送pelvis的imu数据，所以你需要在仿真中把torso的imu数据发送出去；
3. 可以参考下nvidia的sonic的mujoco sim代码，那里面会发送torso_imu(secondary_imu)的数据

请问在sim2sim的过程中，机器人能顺利上楼梯吗？我发现我的sim2sim在上楼梯几步以后就会倒地

楼梯太高的话好像是不大行的，需要的话我可以把我sim2sim的最小demo给你一份参考

[RajeshSanghvi]

楼梯太高的话好像是不大行的，需要的话我可以把我sim2sim的最小demo给你一份参考

那太感谢了，我sim2sim好久都没有成功了，一直以为是相机仿真的问题 @XuJiahaoMuggle

[XuJiahaoMuggle]

楼梯太高的话好像是不大行的，需要的话我可以把我sim2sim的最小demo给你一份参考

那太感谢了，我sim2sim好久都没有成功了，一直以为是相机仿真的问题 @XuJiahaoMuggle

给个联系方式qq/wx/email

[RajeshSanghvi]

给个联系方式qq/wx/email

liutaoql30@gmail.com @XuJiahaoMuggle

[konyyds]

给个联系方式qq/wx/email

我在sim2sim里也只能走平地，上不了楼梯。
大佬能给我一份sim2sim的demo吗，万分感谢！
510729147@qq.com

[XuJiahaoMuggle]

给个联系方式qq/wx/email

liutaoql30@gmail.com @XuJiahaoMuggle

发咯

[XuJiahaoMuggle]

给个联系方式qq/wx/email

我在sim2sim里也只能走平地，上不了楼梯。 大佬能给我一份sim2sim的demo吗，万分感谢！ 510729147@qq.com

发咯