首页 > TAG信息列表 > OSD
ceph 扩容集群存储 - 添加osd
背景 ceph集群有个别单个磁盘均衡后也要超过百分之80的使用率（有一块盘超过，百分之90集群就会停止写入），现需要添加新的磁盘osd，使集群进行重新均衡数据，来达到降低个别磁盘的高使用率 操作 1.1 新添加的服务器进行安装基础的ceph源 sudo -i wget http://dl.fedoraproject.org/pub/epelceph 009 管理定义crushmap 故障域
管理和自定义crushmap 定义pg到osd的映射关系 通过crush算法使三副本映射到理想的主机或者机架 更改故障域提高可靠性 pg到osd映射由crush实现 下载时需要将对象从osd搜索到，组成文件，那么对象多了就会效率变低，那么从pg组里面搜索。提高效率 对象放在pg要通过hash算法 95个pg / 10ceph常用命令
检查集群使用状态 ceph health detail 把块设备映射到操作系统 rbd map ssdcache/cb7329af-fe8f-4845-bbc8-5ae5c69a5588 取消映射块设备 rbd unmap /dev/rbd1 查看系统中已经映射的块设备 rbd showmapped 重启osd systemctl restart ceph-osd@134 设置标志位 示例： ceph osdrpm 安装ceph
环境准备 1、在运行 Ceph 守护进程的节点上创建一个普通用户,ceph-deploy 会在节点安装软件包，所以你创建的用户需要无密码 sudo 权限。如果使用root可以忽略。为赋予用户所有权限，把下列加入 /etc/sudoers.d/ceph echo "ceph ALL = (root) NOPASSWD:ALL" | tee /etc/sudoers.d/cep【ceph相关】osd异常问题处理（lvm信息丢失）
一、前言 1、简述 参考文档： RHEL / CentOS : How to rebuild LVM from Archive (metadata backups) Red Hat Enterprise Linux 7 逻辑卷管理器管理 Bluestore 下的 OSD 开机自启动分析 本文介绍osd异常排查及相关修复过程，主要涉及lvm修复及osd恢复启动两部分说明 2、问题说明单机CEPH安装部署与对象存储
个人记录，仅供参考 本文只记录操作流程以及我遇到的报错和解决手段，不包含CEPH知识 报错若没遇到可以不看，遇到其他问题可以去附录里的链接找找 1. 单机CEPH安装部署 (1) 准备 虚拟机：VMware WorkStation 16 Pro 系统：Ubuntu 20.04.3 LTS 安装ceph-deploy： sudo apt -y install ceph-dep逻辑卷嵌套导致云平台中卷挂载异常
1.背景 今天遇到一个在云平台上罕见的逻辑卷嵌套问题。环境如下： 物理机：宿主机操作系统CentOS 7，系统使用LVM逻辑卷管理器，本地磁盘为iSCSI提供块存储。 虚拟机：虚拟机操作系统CentOS 7，使用物理机提供的块存储作为虚拟机Ceph存储的OSD，OSD使用BuleStore存储引擎。 宿主机重启后，虚拟机无ceph安装nfs_smb_iscsi
安装NFS 修改hostname 所有需要提供的修改 client1执行：hostnamectl set-hostname ceph_gateway 修改hosts 集群节点添加两台客户端host三个节点机器分别修改host文件，修改完成后如下 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168Ceph集群维护笔记
1. 更换故障盘 1. 1 查看故障盘osd id ceph osd tree 1.2 销毁osd ceph osd destroy 60 --yes-i-really-mean-it #ceph osd purge 60 --yes-i-really-mean-it #destroy可以保留osd id；purge不保留osd id 1.3 更换故障硬盘 1.4 查看新硬盘盘符 lsblk 1.5 擦除新硬盘 ceph-volumecephadm 删除主机
如果要删除的节点正在运行 OSD，请确保从节点中删除 OSD。 删除OSD ceph orch osd rm <osd_id(s)> [--replace] [--force] # 从 OSD 中撤出 PG 并将其从集群中移除 ceph orch osd rm 0 # 例子，不安全销毁的 OSD 将被拒绝 ceph orch osd rm status # 查询操作的状态。当 OSD 上没缓存分层（Ceph Mimic版本）
1. 注意事项 缓存分层会降低大多数工作负载的性能。用户使用此功能之前要格外小心。 1.1 已知良好的工作负载 RGW time-skewed ：如果 RGW 工作负载几乎所有读取操作针对最近写入的对象，一个简单的缓存分层配置，将最近写入的对象从在可配置的时间段后缓存到基础层可以工作良好。 2.Ceph 故障排除之日志和调试
查看运行时配置： ceph daemon osd.0 config show | less # 在OSD节点执行 增加调试日志记录： ceph tell osd.0 config set debug_osd 0/5 # 在MON节点执行 或：ceph daemon osd.0 config set debug_osd 0/5 # 在OSD节点执行K8s 上的分布式存储集群搭建（Rook/ceph）
1.1 基础环境 3台配置一致的虚拟机： 虚拟机配置：4c 8g 虚拟机操作系统：cents7 硬盘：vda：40G vdb：20G Kubernete 版本：1.20.0 Docker版本：20.10.7 默认k8s 已安装完成，采用kubeadm 容器化安装 1.2 所安装rook/ceph版本： ceph：v15.2.11 rook：1.6.3 1.3 前提 正常运行的多节点k8s集群，两个子节volume的含义_volume是什么意思
volume是什么意思 volume在计算机领域有“卷标”、“音量”之意;在股票用语上表示“成交量/成交金额及其均线图”;在生活中有“体积”的意思。 volume [ 'vɔlju:m ] n. 量;体积;卷;音量;大量;册 adj. 大量的 vi. 成团卷起 vt. 把…收集成卷 Volume2是一个既实用又华丽的音量控制Ceph存储集群缓存分层分析（pacific版本）
对于存储在后备存储层中的数据子集，缓存层为 Ceph 客户端提供了更好的 I/O 性能。缓存分层涉及创建一个配置为缓存层的相对快速/昂贵的存储设备（例如，固态驱动器）池，以及配置为经济存储的纠删码或相对较慢/更便宜的设备的后备池层。Ceph 对象器处理对象的放置位置，分层代理决定何时将对不讲CRUSH的Ceph教程是不完整的
前面我们提到了Ceph是一个支持统一存储架构的分布式存储服务。简单介绍了Ceph的基本概念和基础架构包含的组件，其中最重要的就是底层的RADOS和它的两类守护进程OSD and Monitor。上篇文章我们还挖了一个坑，我们提到了CRUSH。 是的，我们这篇教程就是一篇不完整的Ceph教材，因为我们讲CRCeph 存储集群配置之存储设备
有两个 Ceph 守护进程在设备上存储数据： Ceph OSD（或对象存储守护进程）是 Ceph 中大部分数据的存储位置。一般来说，每个 OSD 都由单个存储设备支持，例如传统硬盘 (HDD) 或固态硬盘 (SSD)。OSD 也可以由设备组合支持，例如用于大多数数据的 HDD 和用于某些元数据的 SSD（或 SSD 的分区）。集Ceph OSD 故障排除之内存不足
我们建议每个 OSD 守护程序至少有 4GB 的 RAM，并建议从 6-8GB 向上取整。 您可能会注意到，在正常操作期间，ceph-osd 进程只使用该数量的一小部分。未使用的 RAM 很容易将多余的 RAM 用于共存应用程序或节省每个节点的内存容量。 然而，当 OSD 经历恢复时，它们的内存利用率会达到峰值。如Ceph 数据放置概述
Ceph 在 RADOS 集群中动态存储、复制和重新平衡数据对象。由于许多不同的用户在无数 OSD 上出于不同目的将对象存储在不同的池中，因此 Ceph 操作需要一些数据放置规划。Ceph 中主要的数据放置规划概念包括： Pools（池）： Ceph 将数据存储在池中，池是用于存储对象的逻辑组。池管理归置组Ceph 健康检查
参考：https://docs.ceph.com/en/pacific/rados/operations/health-checks/ 概述 Ceph 集群可以发出一组有限的可能的健康消息——这些消息被定义为具有唯一标识符的健康检查。 标识符是一个简洁的伪人类可读（即像变量名）字符串。它旨在使工具（例如 UI）能够理解健康检查，并以反映其含义ceph常用操作指令
安装ceph客户端 apt install ceph -y # ubuntu yum install ceph -y # centos 查看现有的pool ceph osd lspools 创建pool ceph osd pool create pool_name pg_num 查看pool列表 ceph osd lspools 创建块存储 rbd create image-name --size megabytes --po初识ceph
一、Ceph分布式存储 1.1、Ceph文件系统简述 Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。 Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被Ceph 调整crush map
1、前言 本文章适用于ceph n版 2、示例 1、创建新的replicated ####命令模板###### ceph osd crush rule create-replicated <rule-name> <root> <failure-domain> <class> ###################示例##### ceph osd crush rule create-replicated ssd-rule dCeph学习笔记（2）- CRUSH数据分布算法
前言： 分布式存储系统需要让数据均匀的分布在集群中的物理设备上，同时在新设备加入，旧设备退出之后让数据重新达到平衡状态尤为重要。新设备加入后，数据要从不同的老设备中迁移过来。老设备退出后，数据迁移分摊到其他设备。将文件、块设备等数据分片，经过哈希，然后写入不同的设CRUSHMAP详解
CRUSH的全称是Controlled Replication Under Scalable Hashing，是ceph数据存储的分布式选择算法，也是ceph存储引擎的核心。 ceph的客户端在往集群里读写数据时，动态计算数据的存储位置。这样ceph就无需维护一个叫metadata的东西，从而提高性能。 ceph分布式存储有关键的3R: Replicat