首页 > 其他分享> > 深度强化学习环境搭建

深度强化学习环境搭建

2022-01-29 21:33:16 作者：互联网

Conda环境搭建

下载安装

新建环境

conda create -n rl python=3.8

激活环境

conda activate rl

安装软件

IDE建议安装Jupyter Lab或者Pycharm

执行以下命令在rl环境中安装运行jupyter-lab：

# 激活环境
conda activate robocup
# 安装
conda install -c conda-forge jupyterlab
# 运行
jupyter-lab

深度学习环境搭建

Windows

查看支持的CUDA版本

注意看CUDA Version

nvidia-smi

# 输出：
Mon Nov  8 18:37:26 2021
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 496.49       Driver Version: 496.49       CUDA Version: 11.5     |
|-------------------------------+----------------------+----------------------+
| GPU  Name            TCC/WDDM | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ... WDDM  | 00000000:01:00.0 Off |                  N/A |
| N/A    0C    P8    12W /  N/A |    162MiB /  6144MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

安装驱动和CUDA

显卡驱动下载：

官方 GeForce 驱动程序 | NVIDIA

程序安装完后记得打开更新下显卡驱动

CUDA工具包下载：
CUDA Toolkit 11.5 Downloads | NVIDIA Developer

如果官网下载速度太慢，可以从百度网盘下载驱动：

链接：https://pan.baidu.com/s/1qy7hJKPAktqoNy8xwFxM3Q
提取码：d7z3

是否安装成功

nvcc -V

# 安装成功的输出：
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2021 NVIDIA Corporation
Built on Mon_Sep_13_20:11:50_Pacific_Daylight_Time_2021
Cuda compilation tools, release 11.5, V11.5.50
Build cuda_11.5.r11.5/compiler.30411180_0

Ubuntu

检查依赖

验证自己的GPU是否有一个可以支持CUDA的GPU：

lspci | grep -i nvidia

验证自己的Linux版本是否支持 CUDA：

uname -m && cat /etc/*release

验证系统是否安装了gcc 在终端中输入：

gcc –v

验证系统是否安装了kernel header和package development

sudo apt-get install linux-headers-$(uname -r)

安装驱动

检测你的NVIDIA显卡型号和推荐的驱动安装型号。

输入命令：

ubuntu-drivers devices

建议安装驱动程序是 nvidia-390版本的驱动。
安装驱动命令：

sudo ubuntu-drivers autoinstall

命令是自动安装合适的显卡驱动。也可以选择所需驱动进行安装，命令如下：

sudo apt-get install nvidia-driver-390

然后等待安装完成，重启系统。

sudo reboot

最后检查是否安装成功：

输入以下命令：

nvidia-smi

安装CUDA

CUDA工具包下载：
CUDA Toolkit 11.5 Downloads | NVIDIA Developer

查看是否安装成功：

ls /dev/nvidia*

设置环境变量：

sudo vim ~/.bashrc

添加以下内容：

export PATH=$PATH:/usr/local/cuda/bin
export LD_LIBRARY_PATH=/usr/local/cuda-10.0/bin/lib64:$LD_LIBRARY_PATH

更新配置文件：

source ~/.bashrc

安装cuDNN

官网下载cuda对应版本的cudnn

下载完成以后将其解压到Cuda的目录当中，依次执行如下命令：

tar -xzvf cudnn-8.0-linux-x64-v6.0.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

是否安装成功

构建一个示例：

cd NVIDIA_CUDA-10.0_Samples/
make
cd NVIDIA_CUDA-10.0_Samples/bin/x86_64/linux/release
./deviceQuery

Torch

安装Torch

Torch官网：Start Locally | PyTorch
我是用以下命令安装的PyTorch（结合上面安装的CUDA版本）：

pip install torch==1.10.0+cu113 torchvision==0.11.1+cu113 torchaudio===0.10.0+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html
 
# GPU版：
conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch
# CPU版：
conda install pytorch torchvision torchaudio cpuonly -c pytorch

验证GPU

打开jupyter-lab输入并运行：

import torch
torch.cuda.is_available()

# 输出True则表示CUDA版的Torch安装成功

TensorFlow

安装TensorFlow

conda install tensorflow # 使用conda安装cpu版TensorFlow
conda install tensorflow-gpu # 使用conda安装gpu版TensorFlow（会自动安装cuda,cuDNN）
pip install --ignore-installed --upgrade tensorflow-gpu # 使用pip安装
pip install --ignore-installed --upgrade tensorflow_gpu==1.8.0 # 指定版本

验证GPU

import tensorflow as tf
# Creates a graph.
tf.compat.v1.disable_eager_execution()
a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')
c = tf.matmul(a, b)
# Creates a session with log_device_placement set to True.
sess = tf.compat.v1.Session(config=tf.compat.v1.ConfigProto(log_device_placement=True))
# Runs the op.
print(sess.run(c))

强化学习环境搭建

安装依赖环境

可能需要先安装TensorFlow

pip install scipy numpy mkl matplotlib opencv-contrib-python pandas ray networkx -i https://pypi.tuna.tsinghua.edu.cn/simple

安装Gym

执行第三条命令：

pip install gym # 基本安装
pip install gym[all] # 完全安装（需要先安装mujoco）
pip install gym[all] --no-deps mujoco_py # 排除mujoco_py依赖安装

是否安装成功

打开jupyter-lab输入并运行：

import gym
env = gym.make('CartPole-v0')
env.reset()
for _ in range(1000):
    env.render()
    env.step(env.action_space.sample()) # take a random action
env.close()

其他

必备软件

sudo apt-get install build-essential cmake git vim

配置pip源

执行以下命令升级 pip 到最新的版本 (>=10.0.0) 后进行配置：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pip -U
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

临时使用：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple
# 后接为要安装的包

注意，simple 不能少, 是 https 而不是 http

更新pip：

python -m pip install --upgrade pip

参考：清华源pypi 镜像使用帮助

配置Ubuntu18.04源

执行以下命令备份并修改配置文件：

sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
sudo vim /etc/apt/sources.list

替换内容：

# 默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb http://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse

# 预发布软件源，不建议启用
# deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse

运行命令进行更新：

sudo apt-get update
sudo apt-get upgrade
sudo apt-get install -f

参考：清华源Ubuntu 镜像使用帮助

配置conda源

# 执行下面的命令生成.condarc文件
conda config --set show_channel_urls yes

# 编辑.condarc文件
vim ~/.condarc

.condarc文件修改后的内容：

channels:
  - defaults
show_channel_urls: true
default_channels:
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

修改完成后运行下面的命令，清除索引缓存

conda clean -i 

# 测试一下吧
# 创建一个新环境
conda create -n myenv numpy
# 激活环境
conda activate myenv
# 删除环境
conda remove -n myenv --all

参考：清华源Anaconda 镜像使用帮助

Ubuntu安装Typora

# or see https://support.typora.com.cn/Typora-on-Linux/
sudo snap install typora

参考：Typora中文站

GitHub 镜像访问

这里提供两个最常用的镜像地址：

github.com.cnpmjs.org
hub.fastgit.org

也就是说上面的镜像就是一个克隆版的 GitHub，你可以访问上面的镜像网站，网站的内容跟 GitHub 是完整同步的镜像，然后在这个网站里面进行下载克隆等操作，使用方法是简单的网址替换，比如将https://github.com/openai/gym.git替换为https://github.com.cnpmjs.org/openai/gym.git。

Ubuntu18.04安装搜狗输入法

下载安装包

安装教程

以下是简洁的安装命令：

# 更新源
sudo apt update
# 安装fcitx输入法框架(需要后续在设置中进行一些操作)
sudo apt install fcitx
# 设置fcitx开机自启动
sudo cp /usr/share/applications/fcitx.desktop /etc/xdg/autostart/
# 卸载系统ibus输入法框架
sudo apt purge ibus
# 安装搜狗输入法
sudo dpkg -i 安装包名
# 安装输入法依赖
sudo apt install libqt5qml5 libqt5quick5 libqt5quickwidgets5 qml-module-qtquick2
sudo apt install libgsettings-qt1
# 重启电脑（重启之前也许需要先添加搜狗输入法）
# super + space 切换语言
# ctrl + space 切换输入法

Windows Terminal配置Anaconda

Windows Terminal在Win11中内置，Win10可在应用商店下载
出现权限错误时请尝试使用管理员身份运行

名称：Anaconda
命令行：cmd.exe /K C:\Users\shang\anaconda3\Scripts\activate.bat
启动目录：%USERPROFILE%
不使用父进程目录（否则可能会默认进入C盘的Windows目录）
图标：C:\Users\shang\anaconda3\Menu\anaconda-navigator.ico
选项卡标题：Anaconda

标签：cn,深度,tsinghua,install,edu,强化,安装,tuna,搭建
来源： https://www.cnblogs.com/juzaizai/p/15855861.html