红帽 Ceph 存储的网络注意事项

2.5. 红帽 Ceph 存储的网络注意事项

云存储解决方案的一个重要方面是，由于网络延迟和其他因素，存储集群可能会耗尽 IOPS。此外，由于带宽限制，存储集群可能会在存储集群耗尽存储容量之前很久就耗尽吞吐量。这意味着网络硬件配置必须支持所选的工作负载，以满足价格与性能的要求。

存储管理员更喜欢存储集群尽快恢复。仔细考虑存储集群网络的带宽要求，注意网络链路超额订阅，并将集群内流量与客户端到集群流量隔离开来。在考虑使用固态硬盘 (SSD)、闪存、NVMe 和其他高性能存储设备时，还要考虑到网络性能越来越重要。

Ceph 支持公共网络和存储集群网络。公共网络处理客户端流量和与 Ceph 监视器的通信。存储集群网络处理 Ceph OSD 心跳、复制、回填和恢复流量。至少，单个 10 GB以太网链路应用于存储硬件，您可以添加额外的 10 GB 以太网链路以实现连接性和吞吐量。

重要的

Red Hat 建议将带宽分配给存储集群网络，使其成为公共网络的倍数，osd_pool_default_size用作复制池上的倍数的基础。Red Hat 还建议在单独的网卡上运行公共和存储集群网络。

重要的

Red Hat 建议在生产环境中使用 10 GB 以太网进行 Red Hat Ceph Storage 部署。1 GB 以太网不适合生产存储集群。

在驱动器发生故障的情况下，通过 1 GB 以太网复制 1 TB 数据需要 3 小时，而 3 TB 需要 9 小时。使用 3 TB 是典型的驱动器配置。相比之下，如果使用 10 GB 以太网，复制时间将分别为 20 分钟和 1 小时。请记住，当 Ceph OSD 发生故障时，存储集群将通过将其包含的数据复制到池中的其他 Ceph OSD 来恢复。

较大的域（例如机架）发生故障意味着存储集群将使用更多的带宽。在构建由多个机架组成的存储集群时（这对于大型存储实施来说很常见），请考虑在“胖树”设计中尽可能多地利用交换机之间的网络带宽以获得最佳性能。典型的 10 GB 以太网交换机有 48 个 10 GB 端口和 4 个 40 GB 端口。使用主干上的 40 GB 端口以获得最大吞吐量。或者，考虑将未使用的 10 GB 端口与 QSFP+ 和 SFP+ 电缆聚合成更多的 40 GB 端口，以连接到其他机架和主干路由器。此外，请考虑使用 LACP 模式 4 来绑定网络接口。此外，使用巨型帧，最大传输单元 (MTU) 为 9000，尤其是在后端或集群网络上。

在安装和测试 Red Hat Ceph Storage 集群之前，请验证网络吞吐量。Ceph 中大多数与性能相关的问题通常始于网络问题。简单的网络问题（如扭结或弯曲的 Cat-6 电缆）可能会导致带宽下降。前端网络至少使用 10 GB 以太网。对于大型集群，请考虑将 40 GB 以太网用于后端或集群网络。

重要的

对于网络优化，Red Hat 建议使用巨型帧以获得更好的 CPU 每带宽比率，以及非阻塞网络交换机背板。红帽 Ceph 存储要求公共网络和集群网络端到端的通信路径中的所有网络设备都具有相同的 MTU 值。在生产环境中使用 Red Hat Ceph Storage 集群之前，请验证环境中所有节点和网络设备上的 MTU 值是否相同。

2.6. 避免使用 RAID 解决方案

Ceph 可以复制或擦除代码对象。RAID 在块级别复制此功能并减少可用容量。因此，RAID 是不必要的开支。此外，降级的 RAID 将对性能产生负面影响。

重要的

Red Hat 建议将每个硬盘驱动器从 RAID 控制器单独导出为启用回写缓存的单个卷。

这需要在存储控制器上有一个后备电池或非易失性闪存设备。确保电池正常工作很重要，因为如果控制器上的内存可能因电源故障而丢失，大多数控制器将禁用回写缓存。定期检查电池并在必要时更换它们，因为它们会随着时间的推移而退化。有关详细信息，请参阅存储控制器供应商的文档。通常，存储控制器供应商提供存储管理实用程序来监控和调整存储控制器配置，而无需任何停机时间。

在使用所有固态驱动器 (SSD) 或每个控制器具有大量驱动器的配置时，支持在 Ceph 的独立驱动器模式下使用仅一堆驱动器 (JBOD)。例如，60 个驱动器连接到一个控制器。在这种情况下，回写式缓存可能成为 I/O 争用的来源。由于 JBOD 禁用回写式缓存，因此在这种情况下它是理想的。使用 JBOD 模式的一个优点是可以轻松添加或更换驱动器，然后在物理插入后立即将驱动器暴露给操作系统。

2.7. 选择硬件时的常见错误总结

• 将动力不足的旧硬件重新用于 Ceph。
• 在同一个池中使用不同的硬件。
• 使用 1Gbps 网络而不是 10Gbps 或更高。
• 忽略设置公共网络和集群网络。
• 使用 RAID 而不是 JBOD。
• 以价格为基础选择驱动器，而不考虑性能或吞吐量。
• 当用例需要 SSD 日志时，在 OSD 数据驱动器上进行日志记录。
• 具有吞吐量特性不足的磁盘控制器。

使用本文档中针对不同工作负载测试过的 Red Hat 配置示例来避免上述一些硬件选择错误。

2.8. 其他资源

• Red Hat 客户门户网站上支持的配置文章。
• 原文地址：https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/5/html/hardware_guide/general-principles-for-selecting-hardware#network-considerations-for-red-hat-ceph-storage_hw

标签：存储,网络,Ceph,集群,GB,注意事项,红帽,Hat
来源： https://www.cnblogs.com/python-learn/p/16057438.html