系统相关
首页 > 系统相关> > Ubuntu18.04上部署Ceph(基于debian-pacific)

Ubuntu18.04上部署Ceph(基于debian-pacific)

作者:互联网

Ceph基础:

1.Ceph 是一个开源的分布式存储系统,同时支持对象存储、块设备、文件系统. 2.ceph 是一个对象(object)式存储系统,它把每一个待管理的数据流(文件等数据)切分为一到多个固定大小(默认 4 兆)的对象数据,并以其为原子单元(原子是构成元素的最小单元)完成数据的读写。 3.对象数据的底层存储服务是由多个存储主机(host)组成的存储集群,该集群也被称之为RADOS(reliable automatic distributed object store)存储集群,即可靠的、自动化的、分布式的对象存储系统。 4.librados 是 RADOS 存储集群的 API,支持 C/C++/JAVA/python/ruby/php/go等编程语言客户端。     Ceph涉及组件以及作用:  

        1. Ceph监视器(ceph-mon):用于维护集群状态映射(maintains maps of the cluster state),比如 ceph 集群中有多少存储池、每个存储池有多少 PG 以及存储池和 PG的映射关系等,monitor map, manager map, the OSD map, the MDS map, and theCRUSH map,这些映射是 Ceph 守护程序相互协调所需的关键群集状态,此外监视器还负责管理守护程序和客户端之间的身份验证(认证使用 cephX 协议)。通常至少需要三个监视器才能实现冗余和高可用性

    2. Ceph管理器(ceph-mgr):ceph manager守护进程负责跟踪运行时指标和ceph集群当前的状态,包括存储利用率,当前性能指标和系统负载等,ceph-mgr还托管一些python模块,以实现基于web的ceph仪表盘和rest api,通常要实现高可用至少需要2个ceph-mgr进程,通常ceph-mon和ceph-mgr个数相同,1个ceph-mon同节点会伴随1个ceph-mgr守护进程。

    3. Ceph对象存储(ceph-osd):提供存储数据,操作系统上的一个磁盘就是一个 OSD 守护程序,OSD 用于处理 ceph集群数据复制,恢复,重新平衡,并通过检查其他 Ceph OSD 守护程序的心跳来向 Ceph监视器和管理器提供一些监视信息。通常至少需要 3 个 Ceph OSD 才能实现冗余和高可用性。

    4. Ceph元数据服务(ceph-mds):Ceph MDS为ceph文件系统存储元数据,注意Ceph块设备和对象存储不用mds存储元数据,Ceph MDS允许POSIX文件系统用户执行基本命令,而不会将压力都集中到Ceph OSD集群上,通常mds可以选择部署至少2个节点,可以和其他组件一起也可以分开。

 

基于以上,本次部署采用Ubuntu 18.04.5-server版本,Ceph采用pacific版

环境准备:计划采用9台虚拟机机分开部署,1台用于部署,3台监视,2台管理,最后3台存储节点,2个网段,一个用cluster,一个用于public

Cluster网段:172.16.1.0/24

Public网段: 192.168.79.0/24

 

具体规划如下:

 

 

基础配置:(这里可以先初始化一台模板,配置完后在克隆):

 

1.更换源,这里采用清华镜像地址:

 wget -q -O- 'https://mirrors.tuna.tsinghua.edu.cn/ceph/keys/release.asc' | apt-key add -   Ubuntu18.04.x:   cat /etc/apt/sources.list   # 默认注释了源码镜像以提高 apt update 速度,如有需要可自行取消注释 deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ceph/debian-pacific bionic main # echo "deb https://mirrors.tuna.tsinghua.edu.cn/ceph/debian-pacific bionic main" >> /etc/apt/sources.list    更换完成后,执行apt-get update && apt-get upgrade

 

 

2.时间同步:

apt update

apt install chrony -y

 vim /etc/chrony/chrony.conf # 修改为阿⾥云时钟同步服务器 # 公⽹ server ntp.aliyun.com minpoll 4 maxpoll 10 iburst server ntp1.aliyun.com minpoll 4 maxpoll 10 iburst server ntp2.aliyun.com minpoll 4 maxpoll 10 iburst server ntp3.aliyun.com minpoll 4 maxpoll 10 iburst server ntp4.aliyun.com minpoll 4 maxpoll 10 iburst server ntp5.aliyun.com minpoll 4 maxpoll 10 iburst server ntp6.aliyun.com minpoll 4 maxpoll 10 iburst server ntp7.aliyun.com minpoll 4 maxpoll 10 iburst # 重启服务 systemctl restart chrony systemctl status chrony systemctl enable chrony # 查看时钟同步状态  timedatectl status # 写⼊系统时钟 hwclock -w # 重启服务器  reboot   3.更改IP地址  

 

 配置完成后,执行netplan apply 

4.添加一个Ceph账户并给与权限,后期OSD挂载可能涉及

groupadd -r -g 2022 ceph && useradd -r -m-s /bin/bash -u 2022 -g 2022 ceph && echo ceph:123456 | chpasswd echo "ceph   ALL=(ALL)    NOPASSWD: ALL" >> /etc/sudoers

 5.配置/etc/hosts主机解析

 

 

 在上面全部配置完成后,按规划地址克隆其他服务器,并更改IP

 

集群部署:

1.配置免秘钥登录:

在 ceph-deploy 节点配置允许以非交互的方式登录到各节点   root@ceph-deploy:~# ssh-keygen -t rsa root@ceph-deploy:~# ssh-copy-id 172.16.1.161 root@ceph-deploy:~# ssh-copy-id 172.16.1.162 略(这里可以写脚本,批量执行)   2.安装 ceph 部署工具:   root@ceph-deploy:~# apt-cache madison ceph-deploy 回显如下: ceph-deploy | 2.0.1 | https://mirrors.tuna.tsinghua.edu.cn/ceph/debian-pacific bionic/main amd64 Packages ceph-deploy | 2.0.1 | https://mirrors.tuna.tsinghua.edu.cn/ceph/debian-pacific bionic/main i386 Packages ceph-deploy |1.5.38-0ubuntu1 | https://mirrors.tuna.tsinghua.edu.cn/ubuntu bionic/universe amd64 Packages ceph-deploy | 1.5.38-0ubuntu | https://mirrors.tuna.tsinghua.edu.cn/ubuntu bionic/universe i386 Packages 

3.初始化 mon 节点:

[root@ceph-deploy ~]# mkdir ceph-cluster  [root@ceph-deploy ~]# cd ceph-cluster/   初始化 mon 节点过程如下: Ubuntu 各服务器需要单独安装 Python2: root@ceph-mon1:~# apt install python2.7 -y root@ceph-mon1:~# ln -sv /usr/bin/python2.7 /usr/bin/python2   完成后执行:ceph-deploy new --cluster-network 172.16.1.0/24 --public-network 192.168.79.0/24 ceph-mon1.example.com

验证初始化:

 

 

 

4.初始化 ceph 存储节点:

[ceph@ceph-deploy ceph-cluster]# ceph-deploy install --no-adjust-repos --nogpgcheck ceph-node1 ceph-node2 ceph-node3   5.配置 mon 节点并生成及同步秘钥(注意:在mon节点执行):   root@ceph-mon1:~# apt install ceph-mon root@ceph-mon2:~# apt install ceph-mon root@ceph-mon3:~# apt install ceph-mon  

 

 

 

 

 

一路回车,3台mon节点一样操作

完成后,在deploy部署节点,执行

[root@ceph-deploy ceph-cluster]# ceph-deploy mon create-initial   在mon节点验证:  

 

 

  6.分发 admin 秘钥:   root@ceph-deploy:~# apt install ceph-common #先安装 ceph 的公共组件 root@ceph-node1:~# apt install ceph-common -y root@ceph-node2:~# apt install ceph-common -y root@ceph-node3:~# apt install ceph-common -y root@ceph-node4:~# apt install ceph-common -y   root@ceph-deploy:/home/ceph/ceph-cluster#  ceph-deploy admin ceph-node1 ceph-node2 ceph-node3   如下图:

 

 

node节点验证:

 

 

 7.配置 manager 节点:

初始化 ceph-mgr 节点: [root@ceph-mgr1 ~]#apt install ceph-mgr   2台mgr节点一样操作:   完成后执行:   [root@ceph-deploy ceph-cluster]# ceph-deploy mgr create ceph-mgr1  

mgr节点验证:

 

 

8.ceph-deploy 管理 ceph 集群:

在 ceph-deploy 节点配置一下系统环境,以方便后期可以执行 ceph 管理命令。

 

root@ceph-deploy:~# apt install ceph-common [root@ceph-deploy ceph-cluster]$ ceph-deploy admin ceph-deploy #推送正证书给自己    执行:root@ceph-deploy:~/ceph-cluster# ceph -s   若显示有如下所示:    

 

 

执行:root@ceph-deploy:~/ceph-cluster# ceph config set mon auth_allow_insecure_global_id_reclaim false

 

9:准备 OSD 节点:

擦除磁盘之前通过 deploy节点对 node 节点执行安装 ceph 基本运行环境   [root@ceph-deployceph-cluster]# ceph-deploy install --release pacific ceph-node1 [root@ceph-deployceph-cluster]# ceph-deploy install --release pacific ceph-node2 [root@ceph-deployceph-cluster]# ceph-deploy install --release pacific ceph-node3

 

查看列出磁盘信息:

[root@ceph-deploy ceph-cluster]# ceph-deploy disk list ceph-node1 #列出远端存储 node1 节点的磁盘信息 

 

 

使用 ceph-deploy disk zap 擦除各 ceph node 的 ceph 数据磁盘:

[root@ceph-deploy ceph-cluster]#ceph-deploy disk zap ceph-node1 /dev/sdb
[root@ceph-deploy ceph-cluster]#ceph-deploy disk zap ceph-node1 /dev/sdc
[root@ceph-deploy ceph-cluster]#ceph-deploy disk zap ceph-node1 /dev/sdd

 

注:所有node节点执行同样操作

 

10.添加OSD

在部署节点执行:

ceph-deploy osd create ceph-node1 --data /dev/sdb
ceph-deploy osd create ceph-node1 --data /dev/sdc
ceph-deploy osd create ceph-node1 --data /dev/sdd

ceph-deploy osd create ceph-node2 --data /dev/sdb
ceph-deploy osd create ceph-node2 --data /dev/sdc
ceph-deploy osd create ceph-node2 --data /dev/sdd

ceph-deploy osd create ceph-node3 --data /dev/sdb
ceph-deploy osd create ceph-node3 --data /dev/sdc
ceph-deploy osd create ceph-node3 --data /dev/sdd

 

在node 节点验证:

 

 

 

11.扩容mod节点:

 

[root@ceph-deploy ceph-cluster]# ceph-deploy mon add ceph-mon2  [root@ceph-deploy ceph-cluster]# ceph-deploy mon add ceph-mon3   12.扩容mgr节点:   [root@ceph-deploy ceph-cluster]# ceph-deploy mgr create ceph-mgr2 [root@ceph-deploy ceph-cluster]# ceph-deploy admin ceph-mgr2 #同步配置文件到ceph-mg2 节点    13.最后验证:      

 

 

至此,集群部署完成

 

 

客户端验证:

准备一台 centos的虚拟机,配置好Yum源,

在客户端安装 ceph-common:

执行:

yum install  https://mirrors.aliyun.com/ceph/rpm-octopus/el7/noarch/ceph-release-1-1.el7.noarch.rpm -y yum install ceph-common   完成后,从ceph部署节点执行scp配合和验证文件   [root@ceph-deploy ceph-cluster]# scp ceph.conf ceph.client.admin.keyring root@172.16.1.XX:/etc/ceph/       Ceph集群块设备 RBD准备:   创建 RBD:   #ceph osd pool create myrbd1 64 64 #创建存储池,指定 pg 和 pgp 的数量,pgp 是对存在于 pg 的数据进行组合存储,pgp 通常等于 pg 的值 pool 'myrdb1' created # ceph osd pool --help   # ceph osd pool application enable myrbd1 rbd #对存储池启用 RBD 功能 enabled application 'rbd' on pool 'myrdb1'   # rbd pool init -p myrbd1 #通过 RBD 命令对存储池初始化   创建并验证 img:   #rbd create myimg1 --size 5G --pool myrbd1   # rbd create myimg2 --size 3G --pool myrbd1 --image-format 2 --image-feature layering 后续步骤会使用 myimg2 ,由于 centos 系统内核较低无法挂载使用,因此只开启部分特 性。除了 layering 其他特性需要高版本内核支持   #rbd ls --pool myrbd1 #列出指定的 pool 中所有的 img myimg1 myimg2 

 

 

 

完成上述操作后:

客户端映射 img:   在cenos上执行:   [root@ceph-client ceph]# rbd -p myrbd1 map myimg2   出现如下所示:   rbd: sysfs write failed RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable myrdb1/myimg1 object-map fast-diff deep-flatten". In some cases useful info is found in syslog - try "dmesg | tail". rbd: map failed: (6) No such device or address   执行括号中的rbd feature disable myrdb1/myimg1 object-map fast-diff deep-flatten   再执行 lsblk查看

 

 已发现rbd0

创建一个挂载目录test,并对rbd0执行mkfs.xfs /dev/rdb0格式化 ,并挂载到test目录下

 

写入一个文件测试:

dd if=/dev/zero of=/test/ceph-test-file bs=1MB count=300 300+0 records in 300+0 records out 300000000 bytes (300 MB) copied, 3.49849 s, 85.8 MB/s        最后到ceph端验证:  

 

 

可以看到容量已经成功完成,完

 

 

 

 

 

标签:ceph,deploy,--,pacific,Ceph,cluster,Ubuntu18.04,root,节点
来源: https://www.cnblogs.com/N56041/p/15158348.html