其他分享
首页 > 其他分享> > 深度学习环境配置(pytorch和tensorflow对应的gpu版本环境的兼容)：cuda10.1 + cudnn7.6.5 + tensorflow=2.3.0，tensorflow-gpu=2.

深度学习环境配置(pytorch和tensorflow对应的gpu版本环境的兼容)：cuda10.1 + cudnn7.6.5 + tensorflow=2.3.0，tensorflow-gpu=2.

作者：互联网

配置结果：

Anaconda2019[python3.7.3]+cuda10.1 + cudnn7.6.5 + tensorflow=2.3.0，tensorflow-gpu=2.3.0(tf23虚拟环境，python3.7.3)+pytorch1.81(cu101) + torch-geometric(PYG181虚拟环境，python3.7.13,两个环境及两个环境的python版本不同都是为了防止两个深度学习库对numpy等库的要求不同所以用两个虚拟环境)

ref:

  1. whl库下载地址
  2. Anaconda清华大学镜像下载
  3. Anaconda3-2019.07-Windows-x86_64.exe个人保存链接，提取码：1234
  4. Pycharm2021版专业版下载破解，提取码：1234
  5. Pycharm2021版专业版下载破解个人总结教程
  6. cuda下载链接
  7. cudnn下载链接
  8. tensorflow版本与cuda,cudnn对应关系
  9. pytorch安装官方网址
  10. torch-geometric
  11. torch1.8.1+cu101对应的torch-geometric的torch-scatter、torch-sparse、torch-cluster和torch-spline-conv四个库下载地址
  12. tensorflow 安装GPU版本，CUDA与cuDNN版本对应关系，RTX3050Ti
  13. Win10安装GPU版本的Tensorflow 2.1
  14. Could not load dynamic library ‘cublas64_10.dll‘； dlerror: cublas64_10.dll not found
  15. Could not load dynamic library cublas64_10.dll
  16. FAILED TO QUERY EVENT :CUDA_ERROR_LAUNCH_FAILED:UNSPECIFIED LAUNCH FAILURE

前言

Anaconda2019[python3.7.3]+cuda10.1 + cudnn7.6.5 + tensorflow=2.3.0，tensorflow-gpu=2.3.0(tf23虚拟环境，python3.7.3)+pytorch1.81(cu101) + torch-geometric(PYG181虚拟环境，python3.7.13,两个环境及两个环境的python版本不同都是为了防止两个深度学习库对numpy等库的要求不同所以用两个虚拟环境)
安装Tensorflow-gpu 与 keras的时候，一定先要注意版本的对应，不然很容易出错，在看的时候，建议先看完整篇文章再上手。

零、Anaconda下载安装（个人推荐下载安装Anaconda3-2019.07-Windows-x86_64.exe）

可以从Anaconda清华大学镜像下载寻找对应的版本下载，也可以从下载我已经下载好的百度云里下载：
链接：https://pan.baidu.com/s/11-iU1mLmrHVC-3zP0Uiy7Q 提取码：1234
然后正常安装就好：
image
接下来最好安装Pycharm,参考如下两个链接:
Pycharm2021版专业版下载破解，提取码：1234
Pycharm2021版专业版下载破解个人总结教程

一、环境+配置

本机环境
显卡：RTX3070
Windows10专业版
NVIDIA 511.65
网上查到的可行版本（跟本人所使用的有所偏差）
python3.7.3+CUDA10.1+cuDNN7.6.5+tensorflow2.3.0+Keras2.3.0
本人所安装CUDA、CUDNN、tensorflow-gpu、keras 版本
cuda_10.1
cudnn_7.6.5
tensorflow-gpu 2.3.0
keras 2.3.0

即最终本人所用环境为
python3.7.3 + CUDA 10.1 + cuDNN 7.6.5 + tensorflow 2.3.0 + Keras 2.3.0

tensorflow与CUDA、cuDNN关系查询
https://tensorflow.google.cn/install/source_windows?hl=en#gpu

CUDA版本选择
NVIDIA 与CUDA的版本对应关系

参照表格选择
首先，在桌面【右键】-打开【NVIDIA 控制面板】-选择【帮助】-【系统信息】，再打开的系统信息中选择【组件】，即可看到本机GPU对应支持的CUDA版本：
组件3D设置重点NVCUDA64.DDL 后面的产品名称
image

或者可以在终端输入命令nvidia-smi查看GPU驱动版本
image

但是这不代表你已经安装的cuda11.6,这只是说明他支持安装到11.6版本的cuda,你装10.1版本的cuda也是支持的

CUDA版本选择
NVIDIA 与CUDA的版本对应关系

根据CUDA的版本进行安装，下载压缩包版本

二、安装教程(cuda10.1 + cudnn7.6.5 + tensorflow)

2.1 CUDA 10.1安装

从 cuda下载链接里找到最新的cuda10.1下载下来
双击cuda_10.1_XXX_windows.exe，进入安装程序：
image

这里是临时选择临时提取的文件夹，不用管直接ok：
image

提取完毕，程序会检查兼容性：
image

选择【同意并继续】，选择【自定义】安装：
image

在CUDA中取消勾选Visual Studio Integration，这是VS的插件，容易导致安装失败，我因为用pycharm所以就不勾选了
image

后面还有三个选项。NVIDIA GeForce Experience 是显卡驱动程序，如果你已经更新了显卡驱动版本，就不用选了，因为每个CUDA版本里面都含显卡驱动程序，如果你每次都选相当于每次更新显卡驱动版本。Other components 是声卡等设备驱动程序，我电脑有装了，不用选，最后一个也是。（大家可自己根据自身情况）
image

然后选择安装路径，点击安装，本地版的很快，在线版的需要联网下载安装，慢些。
等待安装完毕，可以检查是否安装成功，在终端键入命令nvcc -V，查看CUDA版本，能显示则成功了。
image

2.2 CUDNN安装

cuDNN下载好后解压，把里面的三个文件夹的内容分别移到CUDA安装目录里对应的同名文件夹里面。其中include和bin文件夹可以直接移动，lib文件夹内容要移动到lib\x64目录下
image

然后复制到CUDA的安装路径即可，我的是C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6（注意！不是覆盖，是添加进去对应的文件夹里面去）
image

lib 是存在 lib/x64 里面
最后，配置下系统环境即可：
右键【此电脑】又名计算机—【属性】—【高级系统设置】-【环境变量】-下半部分【系统变量】里找到【Path】，双击打开（或者点编辑）
补全如下环境变量，如果你之前安装成功了CUDA，2、3条环境是系统已经自动添加了的。
image

2.3 在新的虚拟环境里安装tensorflow=2.3.0,tensorflow-gpu=2.3.0

查看环境

conda env list

创建环境（例子为创建一个叫做tf23，python版本3.7.3的环境）

conda create -n tf23 python=3.7.3

删除环境（例子为删除名为tf23的环境）

conda remove -n tf23 --all

激活环境（例子为激活名为tf23的环境）

conda activate tf23

退出环境

conda deactivate

2.4安装tensorflow:

先进入tf23虚拟环境里：

conda activate tf23

再安装tensorflow(2.3.0),tensorflow-gpu(2.3.0)

pip install --default-timeout=100 -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==2.3.0

pip install --default-timeout=100 -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==2.3.0

或者：

pip install --user --default-timeout=100 -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==2.3.0

pip install --user --default-timeout=100 -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==2.3.0

2.5 常见问题1 Could not load dynamic library ‘cublas64_10.dll‘； dlerror: cublas64_10.dll not found

在使用tensorflow连接本地GPU时报错

2022-02-22 14:57:36.226466: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cudart64_101.dll
2022-02-22 14:57:36.227912: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'cublas64_10.dll'; dlerror: cublas64_10.dll not found
2022-02-22 14:57:36.233442: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cufft64_10.dll
2022-02-22 14:57:36.234755: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library curand64_10.dll
2022-02-22 14:57:36.236105: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'cusolver64_10.dll'; dlerror: cusolver64_10.dll not found
2022-02-22 14:57:36.237345: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'cusparse64_10.dll'; dlerror: cusparse64_10.dll not found
2022-02-22 14:57:36.238582: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'cudnn64_7.dll'; dlerror: cudnn64_7.dll not found
2022-02-22 14:57:36.238659: W tensorflow/core/common_runtime/gpu/gpu_device.cc:1598] Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are installed properly if you would like to use GPU. Follow the guide at https://www.tensorflow.org/install/gpu for how to download and setup the required libraries for your platform.
Skipping registering GPU devices...

dll文件 + cudnn64_7.dll放网盘了，自取:
链接：https://pan.baidu.com/s/1TFM7pX62Qu5TLANiZHkzrA 提取码：1234
下载好后放在C:\Windows\System32，然后就成功了！

2022-02-22 15:19:01.152638: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cudart64_101.dll
2022-02-22 15:19:01.159782: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cublas64_10.dll
2022-02-22 15:19:01.164852: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cufft64_10.dll
2022-02-22 15:19:01.166054: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library curand64_10.dll
2022-02-22 15:19:01.241219: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cusolver64_10.dll
2022-02-22 15:19:01.242896: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cusparse64_10.dll
2022-02-22 15:19:01.243409: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cudnn64_7.dll
2022-02-22 15:19:01.243525: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1703] Adding visible gpu devices: 0

2.6 常见问题2 FAILED TO QUERY EVENT :CUDA_ERROR_LAUNCH_FAILED:UNSPECIFIED LAUNCH FAILURE

服务器上没有资源了，在本地win10下运行程序，报错：

failed to query event :CUDA_ERROR_LAUNCH_FAILED:unspecified launch failure

查了一下，这种错误代码没问题，问题出在windows，是运行时间过长，可以再运行几次试试，如果还报同样的错误可以参考博客解决办法：window登录管理员用户，打开NSIGHT ，设置option的Microsoft display driver 的WDDM TDR enable为False即可，因为该选项导致kernel运行时间超过指定值会中断。

三、pytoch + torch-geometric 安装教程

3.1创建虚拟环境

查看环境

conda env list

创建环境（例子为创建一个叫做PYG181，python版本3.7.13的环境）

conda create -n PYG181 python=3.7.13

删除环境（例子为删除名为PYG181的环境）

conda remove -n PYG181 --all

激活环境（例子为激活名为PYG181的环境）

conda activate PYG181

退出环境

conda deactivate

3.2安装pytorch:

先进入PYG181虚拟环境里：

conda activate PYG181

再安装pytorch(1.8.1)

# CUDA 10.1
pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html

至此如果不搞图神经网络，就不需要进行3.3的安装，就已经实现了tensorflow-gpu和pytorch-gpu的安装配置了

3.3 安装torch-geometric（依赖于pytorch的一个图神经网络库）

首先下载torch1.8.1+cu101对应的torch-geometric的torch-scatter、torch-sparse、torch-cluster和torch-spline-conv四个库.
可以从torch1.8.1+cu101对应的torch-geometric的torch-scatter、torch-sparse、torch-cluster和torch-spline-conv四个库下载地址自己找相应的下载
也可以从下面本人已经下载好的链接里提取
链接：https://pan.baidu.com/s/1DFyLYuOYBfpswlpbYodg2g 提取码：1234
image

总之下载好四个.whl文件(假如我的下载文件位置在C:\Users\chuqianyu\Desktop\torch_geometric)后。通过anaconda终端进入桌面（cd 加文件夹路径）：

cd C:\Users\chuqianyu\Desktop\torch_geometric

image

然后通过 pip install 来安装对应的whl库，如我要安装aiohttp-3.8.1-cp37-cp37m-win_amd64.whl这个whl库，我事先已经放到了C:\Users\chuqianyu\Desktop\torch_geometric文件夹里了：

pip install aiohttp-3.8.1-cp37-cp37m-win_amd64.whl

image

上面都是练手基本操作，下面开始正式安装torch-geometric,一定要严格按顺序执行下面的每一行安装代码才行
也可以参考torch-geometric首页的3，4步骤

pip install torch_scatter-2.0.7-cp37-cp37m-win_amd64.whl
pip install torch_sparse-0.6.9-cp37-cp37m-win_amd64.whl
pip install torch-geometric
pip install torch_cluster-1.5.9-cp37-cp37m-win_amd64.whl
pip install torch_spline_conv-1.2.1-cp37-cp37m-win_amd64.whl

执行上面语句的前提是你已经进入了下载好的四个库所在的文件夹，对于我的电脑，文件夹就是C:\Users\chuqianyu\Desktop\torch_geometric
通过在anaconda终端输入cd C:\Users\chuqianyu\Desktop\torch_geometric进入文件夹，再执行上面5条命令安装torch-geometric
至此就完成了所有的安装
Anaconda2019[python3.7.3]+cuda10.1 + cudnn7.6.5 + tensorflow=2.3.0，tensorflow-gpu=2.3.0(tf23虚拟环境，python3.7.3)+pytorch1.81(cu101) + torch-geometric(PYG181虚拟环境，python3.7.13,两个环境及两个环境的python不同都是为了防止两个深度学习库对numpy等库的要求不同所以用两个虚拟环境)

转载请注明出处

标签：torch,dll,CUDA,gpu,2.3,tensorflow
来源： https://www.cnblogs.com/chuqianyu/p/16365060.html