java-Spark-将RDD保存到多个文件作为输出
作者：互联网
我有一个JavaRDD< Model> ;,我需要将其编写为多个具有不同布局的文件[RDD中的一两个字段在不同布局之间会有所不同].
当我使用saveAsTextFile()调用模型的toString()方法时,这意味着将相同的布局写为输出.
目前,我正在使用地图转换方法迭代RDD并以其他布局返回不同的模型,因此我可以使用saveAsTextFile()操作将其写入为不同的输出文件.
仅由于一个或两个字段不同,我需要再次迭代整个RDD并创建新的RDD,然后将其另存为输出文件.
例如：
当前带有字段的RDD：
角色指示器,姓名,年龄,地址,部门
输出文件1：
姓名,年龄,地址
输出文件2：
角色指示器,姓名,年龄,部门
有什么最佳解决方案吗？
问候,
香卡
解决方法:
您要使用foreach,而不是收集.
您应该将函数定义为扩展VoidFunction的实际命名类.为两个文件创建实例变量,并添加一个close()方法来关闭文件.您的call()实现将编写您所需的任何内容.
完成后,请记住在函数对象上调用close().
标签：apache-spark,java 来源： https://codeday.me/bug/20191120/2040714.html