后端存储技术方案汇总

分片：数据量大（分库分表等）

分片算法：范围分片，Hash分片

并发高：新增实例（业务维度拆分，同业务拆分）

高可用HA：主从复制

状态不一致：复制状态机技术（快照+日志）

Grousip:  流言协议

冗余：增加副本

去中心化设计：无主模式

版本号技术：无主模式选举 Redis

元数据库：热点数据倾斜，文件存储

Raft： 复制状态机保证数据可靠，心跳和选举保证高可用

半数投票： 奇数副本，半数投票通过当Leader

NWR： W+R>N

 

MySQL：读写分离、分库分表、归档、复制（同步复制、异步复制、半同步复制： 至少保证复制1台机器）、备份安全（全量备份与增量备份）、不停服数据迁移

分布式ID：Snowflake,Twitter分布式ID算法

订单号服务：日志记载主键防重，三方对账

CAS： 比较交换，避免ABA问题

 

Cache: Read/Write Through,  Cache Aside

分片：Hash分片

高可用HA: 主从复制，复制状态机理论 

Redis集群不适合大规模集群原因：Grousip协议，主挂了从节点版本号选举技术 =》代理模式&客户端寻址模式

Canal： 订阅Binlog，同步Redis

 

ES:  倒排索引，索引（表），文档 （行）、字段（列）、Mapping

 

分布式文件系统： 元数据、分块、版本号选举（主挂了，从节点选举）、整块复制

海量数据：Kafak、HDFS、实时流计算(Flink,Storm)、离线批计算（MapReduce、Spark)

< GB:  MySQL    10GB:  优先考虑ES, 后考虑HBase等  TB: HDFS

 

标签：方案,选举,版本号,Redis,存储技术,汇总,状态机,复制,分片
来源： https://www.cnblogs.com/binfirechen/p/16269616.html