Taishan服务器装centos7.6系统部署ceph服务出现的慢请求

近期，公司云要适配Taishan服务器，于是在服务器上部署了ceph，用来跑储存，但是在使用ceph上传快文件时，ceph出现大量的慢请求，导致ceph集群用不了，但是，使用对象存储和文件系统，未出现以上情况，于是在服务器上使用dmesg命令查看，出现一下问题：

对于这个问题，在网上找到信息，需要升级hns3网卡驱动，才能解决这个问题。由于
升级教程

1. 编辑模块配置

   echo 'blacklist hns_roce_hw_v2' >> /usr/lib/modprobe.d/dist-blacklist.conf
   echo 'balcklist hns_roce' >> /usr/lib/modprobe.d/dist-blacklist.conf

   这一步骤的目的是为了禁用roce
   2.重启
   3.下载网卡驱动

   这里需要到华为官网下载

   4.卸载hns3模块

   rmmod hns3
   #如果没有前面内核禁用roce，会导致在下载网卡模块时，出现死机的情况

   5.在驱动文件中执行install.sh
   6.安装网卡包

yum -y install NIC-hisi_eth-CentOS7.6-hns3-1.0.1-1-aarch64.rpm
#上一步执行install.sh就是安装这下rpm包，但是在实际操作过程中，发现安装过程中没有将NIC-hisi_eth-CentOS7.6-hns3-1.0.1-1-aarch64.rpm包安装，所以这里单独提出来

7.重启
结论
Taishan服务器与centos7.6系统中hns3模块兼容性不太好，导致在Taishan服务器上部署centos7.6跑ceph集群在rbd命令导入文件时，出现的慢请求，这是cengos7.6在Taishan服务器上的一个bug。升级网卡之后，ceph的三层包和四层报未出现错误。

标签：Taishan,hns3,ceph,网卡,roce,服务器,centos7.6
来源： https://blog.51cto.com/lnsane784/2441983