首页 > TAG信息列表 > ceph
在easzlab部署的k8s集群安装kube-prometheus+rook-ceph
一、k8s集群环境搭建 请参考:https://www.cnblogs.com/cyh00001/p/16520847.html 二、部署rook-ceph集群 2.1、环境需求: easzlab-k8s-ceph-01 172.16.88.163 4vcpu 8G 3*100G easzlab-k8s-ceph-02 172.16.88.164 4vcpu 8G 3*100G easzlab-k8s-ceph-03 172.1Ceph mds高可用
mds_standby_replay:值为ture或false,true表示开启replay模式,这种模式下主MDS内的数量将实时与从MDS同步,如果主宕机,从可以快速的切换,如果为false只有宕机的时候采取同步数据,这样会有一段时间的中断。 mds_standby_for_name:设置当前MDS进程只用于备份宇指定名称的MDS。 mds_standby_fCeph安装部署
Monitor Mgr Mds OSD Deploy 数量 2 2 4 1 CPU 8c 8c 4c 4c Memory 16g 16g 16g 8g 硬盘 200g 200g 500g*3 200g 系统 ubuntu18.04 ubuntu18.04 ubuntu18.04 ubuntu18.04 ubuntu18.04 设置apt源 sudo -i lsb_release -a apt-cache madisonceph 扩容集群存储 - 添加osd
背景 ceph集群有个别单个磁盘均衡后也要超过百分之80的使用率(有一块盘超过,百分之90集群就会停止写入),现需要添加新的磁盘osd,使集群进行重新均衡数据,来达到降低个别磁盘的高使用率 操作 1.1 新添加的服务器进行安装基础的ceph源 sudo -i wget http://dl.fedoraproject.org/pub/epelk8s对接Ceph实现持久化存储(16)
一、Ceph简介 官网:https://ceph.com/en/ https://docs.ceph.com/en/latest/start/intro/ ceph 是一种开源的分布式的存储系统 包含以下几种存储类型: 块存储(rbd),对象存储(RADOS Fateway),文件系统(cephfs) 块存储(rbd): 块是一个字节序列(例如,512 字节的数据块)。 基于块ceph 009 管理定义crushmap 故障域
管理和自定义crushmap 定义pg到osd的映射关系 通过crush算法使三副本映射到理想的主机或者机架 更改故障域提高可靠性 pg到osd映射由crush实现 下载时需要将对象从osd搜索到,组成文件,那么对象多了就会效率变低,那么从pg组里面搜索。提高效率 对象放在pg要通过hash算法 95个pg / 10ceph 008 ceph多区域网关(ceph对象容灾) cephfs文件系统
clienta作为集群的管理人员。一部分。他是需要秘钥与配置文件的 但真正服务端只需要通过curl就好 ceph 多区域网关 对象存储容灾解决方案 zone与zone会做数据同步。 把会做同步的rgw放到一个组里 同步有方向的概念 有主zone master 主zone会像其他zone同步 一个realm的数据可以同ceph常用命令
检查集群使用状态 ceph health detail 把块设备映射到操作系统 rbd map ssdcache/cb7329af-fe8f-4845-bbc8-5ae5c69a5588 取消映射块设备 rbd unmap /dev/rbd1 查看系统中已经映射的块设备 rbd showmapped 重启osd systemctl restart ceph-osd@134 设置标志位 示例: ceph osdceph 004 纠删码池 修改参数 cephx认证
复习ceph003 存储池为逻辑概念,存储池可以占用整个集群的所有空间 [root@ceph01 ~]# ceph osd pool create pool1 pool 'pool1' created [root@ceph01 ~]# ceph osd pool application enable pool1 rgw enabled application 'rgw' on pool 'pool1' [root@ceph01 ~]# ceceph 001 存储类型 传统存储与分布式存储 分布式文件系统 集群与分布式
ceph 存储类型 块存储:裸磁盘 未被格式化的磁盘 DAS(直连存储,usb,硬盘插到电脑):scsi接口 接口数量有限 传输距离有限 SAN(存储区域网络):ip-san 网络(iscsi) 以太网 fc-san网络 (fc协议) 光纤模块 ceph rbd scsi重新封装为iscsi,iscsi在ip网络里跑 scsi协议让你在电脑rpm 安装ceph
环境准备 1、在运行 Ceph 守护进程的节点上创建一个普通用户,ceph-deploy 会在节点安装软件包,所以你创建的用户需要无密码 sudo 权限。如果使用root可以忽略。为赋予用户所有权限,把下列加入 /etc/sudoers.d/ceph echo "ceph ALL = (root) NOPASSWD:ALL" | tee /etc/sudoers.d/cep【ceph相关】osd异常问题处理(lvm信息丢失)
一、前言 1、简述 参考文档: RHEL / CentOS : How to rebuild LVM from Archive (metadata backups) Red Hat Enterprise Linux 7 逻辑卷管理器管理 Bluestore 下的 OSD 开机自启动分析 本文介绍osd异常排查及相关修复过程,主要涉及lvm修复及osd恢复启动两部分说明 2、问题说明Ceph删除pool
删除pool提示错误 root@ceph01:/etc/ceph-cluster# ceph osd pool delete volumes volumes --yes-i-really-really-mean-it Error EPERM: pool deletion is disabled; you must first set the mon_allow_pool_delete config option to true before you can destroy a pool 修改ceCurve 替换 Ceph 在网易云音乐的实践
Curve 块存储已在生产环境上线使用近三年,经受住了各种异常和极端场景的考验,性能和稳定性均超出核心业务需求预期 网易云音乐背景 网易云音乐是中国领先的在线音乐平台之一,为音乐爱好者提供互动的内容社区。网易云音乐打造了一个大型、富有活力且坚固、快速成长的业态,为用户提供pve ceph 故障后的删除
1.查看当前mon节点 [root@mon1 ~]# ceph mon state2: 3 mons at {alpha=10.10.200.3:6789/0,beta=10.10.200.4:6789/0,gamma=10.10.200.10:6789/0}, election epoch 84, quorum 0,1,2 alpha,beta,gamma 2.例如删除mon.gamma节点,首先停止mon.gamma节点 [root@mon1 ~]# /etc/init已整理-rsync+inotify文件实时同步
目录: 1、rsync本地同步操作 2、rsync远端同步操作 3、rsync+inotify实时同步 1、rsync本地同步操作 语法:rsync [选项...] 源目录 目标目录 功能:同步与复制的差异 复制:完全拷贝源到目标 同步:增量拷贝,只传输变化过的数据 参数详解: -n: 测试同步 1. 执行内容 kubectl get ns rook-ceph Terminating 18h # 开启另外一个窗口窗口 kubectl proxy --port=8081 kubectl get namespace rook-ceph -o json |jq '.spec = {"finalizers":[]}' >temp01.json curl -k -H "Content-Type: application/json"单机CEPH安装部署与对象存储
个人记录,仅供参考 本文只记录操作流程以及我遇到的报错和解决手段,不包含CEPH知识 报错若没遇到可以不看,遇到其他问题可以去附录里的链接找找 1. 单机CEPH安装部署 (1) 准备 虚拟机:VMware WorkStation 16 Pro 系统:Ubuntu 20.04.3 LTS 安装ceph-deploy: sudo apt -y install ceph-depRHCA cl210 014 cloud-init注入脚本 文件系统中的差分盘 volume注入镜像 manila文件共享
cloud-init 拉取镜像 wget http://materials.example.com/osp-small.qcow2 -O ~/cloud-init 登录openstack [student@workstation ~]$ source developer1-finance-rc 上传镜像 [student@workstation ~(developer1-finance)]$ openstack image create --disk-format qcow2 --mi已整理-制作ceph离线安装包
目录: 1、制作ceph离线安装包准备工作 2、编写3个repo文件 3、下载并打包ceph离线包 1、制作ceph离线安装包准备工作 # mount /dev/sr0 /mnt/ #挂载CentOS 7.8光盘 # yum install epel-repo # yum install yum-utils createrepoceph pool(s) have no replicas configured 警告
[root@server443 ~]# ceph -s cluster: id: cb07c004-b6ef-4303-905f-f5833449a0e5 health: HEALTH_WARN 6 pool(s) have no replicas configured services: mon: 1 daemons, quorum server443 (age 13d) mgr: server443(active, sinceceph安装.md
环境 系统环境:centos7.6 2003 节点: ceph_node1: 安装组件:ceph-deploy,ceph-admin 组件:mon1,mgr1,ods ntp服务器 IP :192.168.10.15 硬盘:两块4T(后续会添加) ceph_node2: 组件:mon2,mgr2,ods IP :192.168.10.16 硬盘:两块4T(后续会添加) ceph_node3: 组件:mon2,mgr2,ods Iceph安装dashboard
dashboard安装 环境 # ceph -s cluster: id: f885f732-2d84-4d5f-a6a4-8d02c8ae3834 health: HEALTH_OK services: mon: 1 daemons, quorum node1 (age 26m) mgr: node1(active, since 2m), standbys: node2, node3 osd: 9 osds: 9 up (since 15mceph-crush map区分ssd和hdd资源池
环境 3块SSD 6块HDD # ceph -s cluster: id: b4c125fd-60ab-41ce-b51c-88833089a3ad health: HEALTH_OK services: mon: 3 daemons, quorum node1,node2,node3 (age 47m) mgr: node1(active, since 56m), standbys: node2, node3 osd: 9 osds:ceph客户端挂载cephfs+keepaliaved
环境准备 修改hostname client1执行:hostnamectl set-hostname client1 client2执行:hostnamectl set-hostname client2 修改hosts 集群节点添加两台客户端host三个节点机器分别修改host文件,修改完成后如下 ::1 localhost localhost.localdomain localhost6 localhost6.