Overview.md

PARL是一个主打高性能、稳定复现、轻量级的强化学习框架。

使用场景

• 想要在实际任务中尝试使用强化学习解决问题
• 想快速调研下不同强化学习算法在同一个问题上的效果
• 强化学习算法训练速度太慢，想搭建分布式强化学习训练平台
• python的GIL全局锁限制了多线程加速，想加速python代码

PARL文档全览

	构建智能体（基础）	开源算法库	并行训练（进阶）
	教程 入门：解决cartpole问题 子模块说明 参数保存与加载 绘制训练曲线 表格输出实验数据	前沿算法 SAC TD3 MADDPG 经典算法 PolicyGradient DQN DDPG PPO 并行算法 A2C ES	教程 XPARL并行介绍 使用教程 加速案例 (默认模式) 加速案例（后台模式) 如何debug 分发本地文件 序列化加速（非必须）

安装

安装

PARL 支持并在 Ubuntu >= 16.04, macOS >= 10.14.1, 和 Windows 10通过了测试。 目前在Windows上仅支持python3.5+以上的版本，要求是64位的python。

pip install parl --upgrade

如果遇到网络问题导致的下载较慢，建议使用清华源解决:

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple parl --upgrade

如果想试试最新代码，可从源代码安装。

git clone https://github.com/PaddlePaddle/PARL
cd PARL
pip install .

如果遇到网络问题导致的下载较慢，建议使用清华源解决（参考上面的命令）。
遇到git clone如果较慢的问题，建议使用我们托管在国内码云平台的仓库。

git clone https://gitee.com/paddlepaddle/PARL.git

关于并行

如果只是想使用PARL的并行功能的话，是无需安装任何深度学习框架的。

贡献

本项目欢迎任何贡献和建议。 大多数贡献都需要你同意参与者许可协议（CLA），来声明你有权，并实际上授予我们有权使用你的贡献。

代码贡献规范

• 代码风格规范
  PARL使用yapf工具进行代码风格的统一，使用方法如下：

pip install yapf==0.24.0
yapf -i --style='{column_limit: 120}' modified_file.py

• 持续集成测试
  当增加代码时候，需要增加测试代码覆盖所添加的代码，测试代码得放在相关代码文件的tests文件夹下，以_test.py结尾（这样持续集成测试会自动拉取代码跑）。附：测试代码示例
• 本地运行单元测试（非必要）
  如果你希望在自己的机器运行单测代码，可先在本地机器上安装Docker，再按以下步骤执行单测任务。

cd PARL
docker build -t parl/parl-test:unittest  .teamcity/
nvidia-docker run -i --rm -v $PWD:/work -w /work parl/parl-test:unittest .teamcity/build.sh test

反馈

• 在 GitHub 上提交问题