其他分享
首页 > 其他分享> > Filnk的过程描述

Filnk的过程描述

作者:互联网

       先创建执行环境(通用语句)

final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

1.获取执行数据   (The path of the file, as a URI (e.g., "file:///some/local/file" or "hdfs://host:port/file/path").)

DataSource<String> stringDataSource = env.readTextFile(" URL中的两种路径方法 ");//获取数据

2.用一些算子来处理这个数据集  (例:用一个单词统计的算子)

stringDataSource.flatMap(new FlatMapFunction<String, Tuple2<String,Integer>>(){
   @Override
   public void flatMap(String value, Collector<Tuple2<String, Integer>> collector) throws Exception {
      String[] split = value.split("/t");
      for(String token:split){
         if(token.length()>0){
            //输出
            collector.collect(new Tuple2<String,Integer>(token,1));  //<hello,1><world,2>
         }
      }

   }
}).groupBy(0).sum(1).print();

3.执行程序

env.execute("...类名...");

标签:String,env,ExecutionEnvironment,token,split,file,描述,过程,Filnk
来源: https://blog.csdn.net/KO_612/article/details/101224466