首页 > TAG信息列表 > devtao
Hadoop I/O
原文链接：http://www.cnblogs.com/devtao/p/3375974.html 数据完整性 在MapReduce中使用压缩 序列化/反序列化 Hadoop使用自己的序列化格式Writable,Writable接口定义了两个方法：一个将其状态写到DataOutput二进制流，一个从DataOutput二进制流读取其状态。一些常用shell脚步
原文链接：http://www.cnblogs.com/devtao/p/3397692.html 在当前目录下循环建立N个文件 #!/bin/bash for i in $(seq 1 10) do name=$(printf test%02d.txt $i) touch $name done 列出最常用的10条历史命令 #!/bin/bash #列出最常用的10HDFS简介
原文链接：http://www.cnblogs.com/devtao/p/3375904.html HDFS的设计： 流式数据访问：HDFS的构建思路：一次写入多次读取时最高效的访问模式。 HDFS的概念： HDFS的块：默认64M。设计如此之大目的是为了最小化寻址开销。如果设置的足够大，磁盘传输数据的时间将明显