首页 > TAG信息列表 > 容错性
Hadoop学习一
今天开始学习Hadoop。 Hadoop主要应用于大数据。 概念：Hadoop是分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题。 Hadoop通常指Hadoop生态圈，通常指多门技术。 优势：高可靠性，高扩展性，高效性， 高容错性 Hadoop3.x的组成 学习方式：B站博主 https:/Linux raid工作原理和特性
RAID：独立硬盘冗余阵列，简称磁盘阵列 作用：用来来提升性能和冗余（容错性）。 RAID把多个硬盘组合成为一个逻辑硬盘，因此，操作系统只会把它当作一个实体硬盘 RAID实现的功能： 性能提升 磁盘冗余（容错性） RAID实现方式： 硬件实现：RAID卡（外接和主板内置） ---生产环境一般永这种 软件实现：5-CAP定理和BASE理论
一 CAP 定理 2000 年 7 月，加州大学伯克利分校的 Eric Brewer 教授在 ACM PODC 会议上提出 CAP 猜想。2年后，麻省理工学院的 Seth Gilbert 和 Nancy Lynch 从理论上证明了 CAP。之后，CAP 理论正式成为分布式计算领域的公认定理。 CAP 理论为：一个分布式系统最多只能同时满足一致性（Cons1.大数据概述
1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 （1）HDFS——分布式文件系统 除具备其它分布式文件系统相同特性外，还有自己的特性：①高容错性：认为硬件总是不可靠的 ②高吞吐量：为大量数据访问的应用提供高吞吐量支持 ③大文件存储：支持存MQ的基本概念
MQ全称 Message Queue（消息队列），是在消息的传输过程中保存消息的容器。多用于分布式系统之间进 行通信。 MQ 的优势和劣势 优势: 应用解耦 系统的耦合性越高，容错性就越低，可维护性就越低。使用 MQ 使得应用间解耦，提升容错性和可维护性。 异步提速 提升用户体验和系统吞吐量（单位时1.大数据概述
1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 Hadoop生态包括YARN、Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件，并且以HDFS和MapReduce为核心。 Hadoop生态圈如图1所示：Hadoop生态之MapReduce
MapReduce是分布式运算程序的编程框架，其核心功能：将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群框架上 Tips：为什么用MapReduce？ 海量数据在单机上处理会因为硬件资源限Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性）
CAP原则(CAP定理)、BASE理论 一、CAP原则 CAP原则又称CAP定理，指的是在一个分布式系统中， Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），三者不可得兼。 CAP原则是NOSQL数据库的基石。 分布式系统的CAP理论：理论首先把分布式系统中的三个Eureka和Zookeeper的区别
首先介绍一下CAP原则： C：Consistency-数据一致性； A：Availability-服务可用性 P：Partition Tolerance-服务对网络分区故障的容错性。 这三个特性在任何系统中不可能同时满足，最多同时满足两个，其中P是必须满足的。Redis分布式锁
RedLock 1.保证了互斥性。 2.避免了死锁。 3.容错性还不错，只要大部分Redis正常工作就可以正常提供服务。 SETNX set if not exist，如果不存在就写。 本身不是原子性操作，可以用LUA脚本，实际生产过程中建议直接使用Redission。 如果直接使用setnx的话，为了避免死锁，最好设置一个“合了解 CAP
CAP是分布式系统最基础的理论，CAP分别表示三个特性： Consistency 一致性 Availability 可用性 Partition tolerance 分区容错性 一个分布式系统最多满足其中两个特性，无法同时满足三个特性，这就是CAP理论。 特性介绍 Consistency 一致性就是无论从哪个节点读取的数据应该都是相同的springcloud之eureka集群搭建
目录 `eureka` 高可用集群`eureka` 高可用集群搭建项目的创建`springboot` 与 `springcloud` 对应版本 eureka 高可用集群 在实际的生产环境中，eureka 常常是以集群的方式提供服务的，目的就是要保证高可用性，同时它还保证了分区容错性。这也满足了一个健壮的分布式系统所要关于SpringCloud Hystrix容错性保护
在微服务架构终中，我们将系统构成分成很多服务单元。在个单元的应用间通过服务注册于订阅的方式相互依赖。由于每个单元都在不同的进程中运行。以来通过远程调用的方式执行，这样就有可能因为网络原因或是依赖服务自身问题出现调用故障或延迟。 我们可能会将系统用户，订单，库存，积分评论架构设计之「 CAP 定理 」
在计算机领域，如果是初入行就算了，如果是多年的老码农还不懂 CAP 定理，那就真的说不过去了。CAP可是每一名技术架构师都必须掌握的基础原则啊。 现在只要是稍微大一点的互联网项目都是采用 分布式 结构了，一个系统可能有多个节点组成，每个节点都可能需要维护一份数据。那么如何维护各2021-10-18
数据库CAP分析 文章目录 数据库CAP分析 前言一、CAP是什么？二、CAP分析1.水平扩展应用+单数据库实例的 CAP 分析2.水平扩展应用+主从数据库集群的CAP分析 总结 前言 CAP 理论是针对分布式数据库而言的，它是指在一个分布式系统中，一致性（Consistency, C）、可用性（Availability,CAP定理:
C:一致性 数据在多个副本节点中保持一致 两个用户访问两个系统A和B,当A系统数据有变化时,及时同步给B系统,让两个用户看到的数据是一致的 A:可用性 系统对外提供服务必须一直处于可用状态,在任何故障下,客服端都能在合理时间内获得服务端非错误的响应 P:分区容错性 在分布式系统rabbitMQ - 1
1. MQ = message queue 2. MQ的优势与劣势 优势 1. 应用解耦，提高系统容错性和可维护性 2. 异步提速，提升用户体验和系统吞吐量 3. 削峰填谷，提高系统稳定性劣势1. 系统可用性降低，引用的外部依赖越多，稳定性越差2. 系统复杂度提高3. 数据一致性问题没法保证 3. 安装参考：https://blog架构设计之「 CAP 定理 」
在计算机领域，如果是初入行就算了，如果是多年的老码农还不懂 CAP 定理，那就真的说不过去了。CAP可是每一名技术架构师都必须掌握的基础原则啊。现在只要是稍微大一点的互联网项目都是采用 分布式 结构了，一个系统可能有多个节点组成，每个节点都可能需要维护一份数据。那么如何维护各个CAP理论详解
聊到分布式架构,必然会聊到CAP理论.下图为CAP理论的经典图. 一.CAP理论概述: 一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance）这三项中的两项. 二.那一致性,可用性,分区容错性到底指的是什么? 一致性:所有节点Flink学习系列——简介
Flink起源 德国柏林 Flink的目标 低延迟 高吞吐 较高的准确性（乱序数据的处理） 良好的容错性（容错性差的表现：一个节点挂了，全部回滚重新做计算，这对实时性要求高的场景非常致命）CAP原则
CAP原则 RDBMS (Mysql.Oracle、sqlServer) ===>ACID NoSQL(redis、mongdb) ===>CAP ACID是什么? A(Atomicity)原子性 c (Consistency)一致性 l(lsolation)隔离性 D(Durability)持久性 CAP是什么? c(Consistency)强一致性 A(Availability)可用性 P(Partition tolerance)分区容错CAP之分区容错性到底是什么？
一个分布式系统里面，节点组成的网络本来应该是连通的。然而可能因为一些故障，使得有些节点之间不连通了，整个网络就分成了几块区域。数据就散布在了这些不连通的区域中。这就叫分区。 当你一个数据项只在一个节点中保存，那么分区出现后，和这个节点不连通的部分就访问不到这个数据了。这后台开发接口需要提高标准，提高容错性或校验
遇到的一个棘手的问题，很多接口的参数不做校验，完全是前端或者上一个接口给什么，用什么。这种情况，接口失去了自己的可靠性，健壮性。一旦上一个接口或app某一个小环节出现问题，那么这个问题将会最终产生很大bug，导致整个功能失效甚至造成脏数据导致用户资料受损。如果你去问后台，后台大概中间件总结
中间件总结: 1.服务的远程调用: gRPC:google的远程调用服务,使用http2.0协议传输二进制 dubbo:阿里的远程调用服务 简单理解: 为适应现在分布式,微服务应用开发,两台服务器上部署的不同应用之间的相互调用服务需要用到这部分的中间件;即服务器A发送请求参数--(序列化)-->(反序列化HDFS定义
1. HDFS产出背景及定义 A. HDFS产生背景 需要一种系统来管理多台机器上的文件，HDFS只是分布式文件管理系统中的一种 B. HDFS定义 a. HDFS是一个文件系统， b. 其次它是分布式的 c. HDFS的使用场景：适合一次写入，多次读出的场景 2. HDFS优