下载实验源码

https://github.com/microsoft/Oscar

服务器安装azcopy

给的都是azcopy的方式（第一次用），先安装azcopy

• wget -O azcopy.tar.gz https://aka.ms/downloadazcopy-v10-linux （服务器没通过，似乎是安全问题）
• https://docs.microsoft.com/zh-cn/azure/storage/common/storage-use-azcopy-v10#download-azcopy（官网手动下载，上传至服务器）
• 添加系统路径（参考文章 https://blog.csdn.net/rav009/article/details/103802232，将azcopy添加至系统路径，在文件末尾添加PATH）
• 

使用azcopy下载数据集

• 不知道是服务器的网络原因还是什么别的原因，服务器无法使用azcopy，最后还是在windows上用azcopy下载，然后二手转交给服务器吧

• 问了一下，这几个数据集最小的也几十个G，大的几百G，我还是去调下服务器吧。。

• 服务器用校园网登陆就好了，之前是因为无法访问外网导致的似乎

• 下载到一半又断了，现在连重登陆都不行了（不会还计费吧。。。）

• azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/datasets/coco_caption’ ‘/data/guojiahua/Oscar’ --recursive

• azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/datasets/nocaps’ ‘/data/guojiahua/Oscar’ --recursive

• azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/datasets/coco_ir’ ‘/data/guojiahua/Oscar’ --recursive

• azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/datasets/vqa’ ‘/data/guojiahua/Oscar’ --recursive

• azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/datasets/gqa’ ‘/data/guojiahua/Oscar’ --recursive

• azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/datasets/nlvr2’ ‘/data/guojiahua/Oscar’ --recursive

• azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/image_features/coco_X152C4_frcnnbig2_exp168model_0060000model.roi_heads.nm_filter_2_model.roi_heads.score_thresh_0.2/model_0060000/’ ‘/data/guojiahua/Oscar’ --recursive

• azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/image_features/flickr30k_X152C4_frcnnbig2_exp168model_0060000model.roi_heads.nm_filter_2_model.roi_heads.score_thresh_0.2/model_0060000/’ ‘/data/guojiahua/Oscar’ --recursive

• azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/image_features/coco_X152C4_frcnnbig2_exp168model_0060000model.roi_heads.nm_filter_2_model.roi_heads.score_thresh_0.2/model_0060000/’ ‘/data/guojiahua/Oscar’ --recursive

• azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/image_features/gqa_X152C4_frcnnbig2_exp168model_0060000model.roi_heads.nm_filter_2_model.roi_heads.score_thresh_0.2/model_0060000/’ ‘/data/guojiahua/Oscar’ --recursive

环境安装

https://github.com/microsoft/Oscar/blob/master/INSTALL.md

服务器驱动最旧的是10.1的，没法装pytorch1.2.0，最后装的1.4.0，不知道会不会有影响

安装apex的时候需要nvcc。安装参考
https://blog.csdn.net/qq_34869928/article/details/100544888

最后参考的apex的GitHub主页上的安装方法安装成功了。
https://github.com/NVIDIA/apex

VPN安装

安装了XMANAGER和QV2RAY,但是并没有效果
下载还是全随缘

APEX版本问题

apex.amp模块找不到
找到了2020年发布的APEX旧版本，成功解决。

huggingface.transformer问题

ModuleNotFoundError: No module named ‘transformers.pytorch_transformers’
似乎是官方安装教程不太对，不要直接

pip install transformers

要先把代码git下来，然后在目录里这样安装：

pip install .

urllib3的问题

标签：azcopy,记录,windows,Oscar,实验,blob,https,net
来源： https://blog.csdn.net/gjh1716718326/article/details/122143495