其他分享
首页 > 其他分享> > Hadoop3新特性

Hadoop3新特性

作者:互联网

1.添加Classpath isolation,防止不同版本的jar包出现冲突。

2.支持Shell重写。

3.支持HDFS中的擦除编码【Erasure Encoding】,默认的EC策略可以节省50%的存储空间,同时还可以承受更多的存储故障。

4.DataNode内部添加了负载均衡【Disk Balancer】,进行磁盘之间的负载均衡。

5.MapReduce任务级本地优化。

6.MapReduce内存参数自动推断。mapreduce.{map,reduce}.memory.mb和mapreduce.{map,reduce}.java.opts。

7.基于cgroup的内存隔离和IO Disk隔离。

8.支持更改分配容器的资源Container resizing。

 

标签:map,reduce,MapReduce,特性,mapreduce,Hadoop3,Disk,内存
来源: https://www.cnblogs.com/yszd/p/10658420.html