首页 > TAG信息列表 > supergroup
统计HDFS中文件数量、大小、以及在某范围大小的文件数量
说明：统计HDFS文件数量大小，小于20M文件数量 1、HDFS 相关命令 # 统计文件大小 hdfs dfs -du -h / # 统计文件数量，返回的数据是目录个数，文件个数，文件总计大小，输入路径 hdfs dfs -count / #统计所有文件的信息，过滤文件夹, 只统计文件，因为使用-ls -R 之后,可以看到文件是”-“大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之2.HDFS分布式文件系统
文章目录 前言1.HDFS特点2.命令行和API操作HDFS（1）Shell命令行客户端（2）API客户端连接HDFS的两种方式（3）API客户端上传下载文件（4）API客户端文件详情及文件类型判断（5）API客户端IO流操作（6）API客户端IO流的seek读取 3.HDFS读写机制解析4.HDFS元数据管理机制（1）Namenode、Fsimage及Edits编hive搭建及连接mysql
前提条件：hadoop需要运行 本人hadoop为hadoop-2.7.1.tar.gz 首先下载hive http://archive.apache.org/dist/hive/ 本人：apache-hive-2.1.1-bin.tar.gz ----------------------------------------------------------------- 下载完成 1.解压 tar -zxvf apache-hive-2.1.1-bin.tar