使用HPC的一点心得（基于windows的putty）

#修改PIP的下载位置：打开bash文件修改
sudo gedit ~/.bashrc
#在最后一行添加如下命令：
alias pip=/home/horsetif/anaconda3/bin/pip
alias pip3=/home/horsetif/anaconda3/bin/pip
#更新bash文件
source ~/.bashrc

配置环境变量

vim ~/.bashrc
i #插入
export PATH=/home/yupeng/anaconda3/bin:$PATH
:wq #保存退出
source ~/.bashrc
配置环境空间

conda create -n spacename python=3.8

启动环境空间

source activate spacename

装包

pip install scipy

查看版本号和包

pip -V
pip list

1.代码要使用相对路径编写

2.链接HPC

ssh hongzli2@burgundy.hpc.cityu.edu.hk

如果是HTGC的话

ssh hongzli2@htgc1.cs.cityu.edu.hk

3.上传本地文件到服务器(新开一个cmd窗口，在本地cmd操作)
传输单个文件scp，传输文件夹scp -r (-r： 递归复制整个目录). 上传下载通用
scp 本地绝对路径 jichawang2@burgundy.hpc.cityu.edu.hk:/home/jichawang2

scp -r C:\Users\Administrator\Downloads\QuadraticKnapsack01GRASP-master hongzli2@burgundy.hpc.cityu.edu.hk:/home/hongzli2

4.sh文件编码问题
解决办法

5.一定要在source activate env进入指定之后，在使用sbatch命令提交sh文件进入job queue

sbatch sbatch_A.sh

6.CPU和GPU可以同时各运行一个程序，2个CPU程序只能排队运行

7.从服务器上下载文件(在本地cmd操作)
scp jichawang2@burgundy.hpc.cityu.edu.hk:/home/jichawang2/SAR 本地绝对路径
将服务器端的SAR文件夹全部拷贝至指定的绝对路径下。得到 绝对路径/SAR/…

scp hongzli2@burgundy.hpc.cityu.edu.hk:/home/hongzli2/scratch/home86396.log E:\HPC

8.可以终止自己的进程

scancel 82051 82052 85063

9.查看自己的队列

squeue -l

代码测试登录

ssh hongzli2@v100t.cs.cityu.edu.hk

可能会用到的基本Linux命令
删除文件(删除当前目录下的所有文件及目录，并且是直接删除，无需逐一确认命令行为)

rm -rf anaconda3/

查看文件，并退出

vim sbatch_A.sh
ESC
:wq %保存退出
enter

:q! %不保存退出

当前路径pwd

matlab的提交
.m文件的写法
function hello(n)
if (nargin<1)
n = 0;
else
n = str2num(n); %一定要用这个函数转换！
end

for i=1:((n+1)*10)
disp(sprintf(‘hello %d’, i));
pause(1);
end

先用 mcc 编译
mcc -v -m filename.m

生成可执行的文件 filename 后，用shell script (run_filename.sh) 去run
./run_filename.sh /usr/local/matlab 3 % 3是参数

生成.sh后，提交任务
condor_submit run_filename_matlab.condor

提交了任务后，查看任务
condor_q
condor_q hongzli2 %查看自己的任务

标签：hongzli2,windows,sh,hk,putty,edu,HPC,home,cityu
来源： https://blog.csdn.net/qq_45756171/article/details/122501991