本项目包含两个主要的强化学习框架用于训练腿式机器人和人形机器人。
humanoid_robot/
├── legged_gym/ # 四足机器人训练框架（ETH Zurich）
├── humanoid-gym/ # 人形机器人训练框架（RobotEra & Tsinghua）
├── legged_rl_env/ # Python虚拟环境
├── docs/ # 项目文档
│ ├── 01_学习路径/ # 学习路径和任务规划
│ ├── 02_项目配置/ # 项目配置文档
│ ├── 03_运行指南/ # 运行和部署指南
│ └── 04_理论资料/ # 理论学习资料
├── 强化学习理论系统学习/ # 理论知识体系
└── awesome-humanoid-learning/ # 相关资源收集
cd humanoid-gym
# 使用虚拟环境运行humanoid-gym MuJoCo仿真
/home/binghe/software_mount_point/orbbec/humanoid_robot/legged_rl_env/bin/python \
run_sim2sim_standalone.py \
--load_model logs/XBot_ppo/exported/policies/policy_example.pt状态: ✅ 已验证可用，仿真稳定运行
详细说明：docs/03_运行指南/humanoid-gym_MuJoCo仿真运行指南.md
legged_gym的URDF模型与MuJoCo兼容性有限，推荐使用Isaac Gym进行训练。
详细说明：docs/03_运行指南/legged_gym_MuJoCo仿真说明.md
- 学习路径与待办任务.md - 完整的12周学习计划，包含30+个具体任务
- 人形机器人强化学习实战学习路线.md - 实战学习路线
- 人形机器人强化学习理论学习路线.md - 理论学习路线
- 个性化学习方法推荐.md - 根据背景定制学习方法
- 人形机器人转型技术路线图.md - 技术转型指南
- 低硬件配置强化学习解决方案.md - 硬件受限情况下的解决方案
- humanoid-gym配置文档.md - humanoid-gym项目配置说明
- legged_gym配置文档.md - legged_gym项目配置说明
- humanoid-gym_MuJoCo仿真运行指南.md - humanoid-gym MuJoCo仿真详细运行指南（✅ 已验证）
- legged_gym_MuJoCo仿真说明.md - legged_gym MuJoCo兼容性说明和替代方案
- 人形机器人强化学习知识体系ASCII图表.md - 知识体系可视化
- 人形机器人公司面试准备策略.md - 面试准备指南
- 强化学习理论学习文件夹结构说明.md - 理论学习目录说明
位于 强化学习理论系统学习/ 目录：
- README.md - 学习体系总览
- 02_强化学习基础/MDP马尔可夫决策过程.md - MDP理论与代码对照
- 03_深度强化学习/PPO算法详解.md - PPO完整讲解
- 03_深度强化学习/Actor-Critic算法.md - Actor-Critic架构详解
- 参考资料/论文列表.md - 15+篇核心论文推荐
强化学习理论系统学习/
├── 01_数学基础/
├── 02_强化学习基础/
├── 03_深度强化学习/
├── 04_机器人学基础/
├── 05_实现技术/
└── 参考资料/
- 来源: ETH Zurich Robotic Systems Lab
- 目标: 四足机器人（ANYmal, A1）复杂地形导航
- 技术: Isaac Gym Preview 3 + rsl_rl PPO
- 特色: 大规模并行仿真、地形课程学习
- 来源: Beijing RobotEra & Tsinghua University
- 目标: 人形机器人（XBot-S/L）零样本sim-to-real
- 技术: Isaac Gym Preview 4 + 内置PPO + Mujoco Sim2Sim
- 特色: 人形专用奖励、多帧观测、DWL支持
- 第1-2周: 环境配置 + Python/PyTorch基础
- 第3-5周: legged_gym项目学习（从简单开始）
- 第6-9周: humanoid-gym项目学习（进阶应用）
- 第10-11周: 机器人学基础补充
- 第12周+: 综合实践与创新
详细任务列表请查看：docs/01_学习路径/学习路径与待办任务.md
- GPU: NVIDIA GPU（推荐RTX 3060+）
- 内存: 16GB+
- 存储: 50GB+
- 操作系统: Linux (Ubuntu 20.04/22.04)
- Python: 3.8 或 3.10
- CUDA: 11.3 或 11.7
- Isaac Gym: Preview 3/4
- MuJoCo: 2.3.6
- MuJoCo仿真环境: MuJoCo 2.3.6配置完成，humanoid-gym仿真验证通过
- 独立运行脚本:
humanoid-gym/run_sim2sim_standalone.py- ✅ 可用legged_gym/run_mujoco_sim.py-⚠️ 兼容性受限
- 示例策略:
policy_example.pt验证通过 - 学习路径: 完整的12周学习计划和30+任务
- 理论文档: PPO算法、Actor-Critic、MDP等核心文档
- 项目文档: 完整的文档目录结构和索引
| 项目 | MuJoCo支持 | 状态 | 说明 |
|---|---|---|---|
| humanoid-gym | ✅ 完整 | 已验证 | 推荐用于MuJoCo仿真 |
| legged_gym | 兼容性问题 | 推荐使用Isaac Gym |
- 理论学习文档补充
- Isaac Gym训练指南编写
- Isaac Gym训练环境配置
- 完整训练流程文档
- Sim2Real部署指南
- Learning to Walk in Minutes - legged_gym
- Humanoid-Gym - humanoid-gym
- PPO Algorithm - Schulman et al.
- legged_gym GitHub
- humanoid-gym GitHub
- RobotEra技术支持: support@robotera.com
- legged_gym: BSD-3-Clause
- humanoid-gym: BSD-3-Clause
本项目文档由AI助手整理，基于以下开源项目：
- legged_gym (ETH Zurich)
- humanoid-gym (RobotEra & Tsinghua University)
- 2024-12-22:
- 项目文档结构整理
- 创建MuJoCo仿真运行指南
- 完成学习路径规划
- 创建核心理论文档