首页 > TAG信息列表 > BlockID

Spark源码阅读02-Spark存储原理之存储分析

Spark存储分析 整体框架存储级别RDD存储调用读数据过程本地读取远程读取 写数据过程写入内存写入磁盘 整体框架 Spark的存储采取了主从模式，即Master / Slave模式，整个存储模块使用RPC的消息通信方式。其中： Master负责整个应用程序运行期间的数据块元数据的管理和维护Sl

Hadoop的序列化与反序列化实操

文章目录 0x00 文章内容 0x01 编写代码 1. 编写对象类 2. 编写调用测试代码 0x02 测试结果 1. 测试序列化 2. 测试反序列化 3. 测试修改对象代码 0xFF 总结 0x00 文章内容 编写代码 测试结果 0x01 编写代码 前提：因为需要用到Hadoop，所以需要先引入Hadoop相关的jar包 <depe

BS结构RFID读写器web插件开发之十-----NTAG标签操作

WEB浏览器读写NTAG标签 NTAG标签简介 NTAG标签时NFC标签的一种,符合NFC Forum类型2标签和ISO/IEC14443类型A规范. NTAG213、NTAG215和NTAG216由恩智浦半导体公司开发，并作为标准NFC标签IC与NFC设备或NFC兼容型近距离耦合设备配合，广泛用于市场应用，如零售、游戏和消费电子等。 友我科

Spark2.x精通：Executor端BlockManager源码剖析

一、概述    BlockManager是分布式块存储管理。核心机制是每个节点存储自己的内存空间和磁盘空间。BlockManagerMaster负责与其他节点的BlockManager通信并负责块在节点间的复制。BlockInfoManager负责管理块的元数据并提供读写锁的功能。当从本地的BlockManager获取不到块时，从

Spark2.x精通：BlockManagerMaster源码剖析

1.BlockManagerMaster创建      BlockManagerMaster要负责整个应用程序在运行期间block元数据的管理和维护，以及向从节点发送指令执行命令，它是在构造SparkEnv的时候创建的，Driver端是创建SparkContext的时候创建SparkEnv，SparkEnv中对应的初始化代码如下：    val blockManag