5.RDD操作综合实例

1. 准备文件
2. 读文件创建RDD

    

    

3. 分词

    

    

4. 排除大小写lower()，map()

    

    

   
   标点符号re.split(pattern,str)，flatMap(),

    

    

   
   停用词,可网盘下载stopwords.txt,filter()，

    

    

    

    

    

    

   
   长度小于2的词filter()

    

    

    

5. 统计词频

    

    

6. 按词频排序

    

    

7. 输出到文件

    

    

8. 查看结果

    

    

标签：文件,文件创建,filter,RDD,实例,词频,操作,txt
来源： https://www.cnblogs.com/xtrblog/p/16103518.html