java-如何在不使用collect函数的情况下有效地将rdd转换为列表

我们知道,如果需要将RDD转换为列表,则应使用collect().但是此功能给驱动程序带来了很大的压力(因为它将所有数据从不同的执行程序带到驱动程序),从而导致性能下降或恶化(整个应用程序可能会失败).

是否有其他方法可以在不使用collect()或collectAsMap()等的情况下将RDD转换为任何Java util集合,而这不会导致性能下降？

基本上,在当前以批处理或流数据处理方式处理大量数据的情况下,诸如collect()和collectAsMap()之类的API在具有大量数据的真实项目中已变得完全无用.我们可以在演示代码中使用它,但是这些API都可以使用.那么为什么要拥有一个我们甚至无法使用的API(或者我错过了什么).

是否可以有更好的方法通过其他方法来达到相同的结果,或者我们可以以更有效的方式实现collect()和collectAsMap(),而不仅仅是调用

列表与LT;字符串&GT myList = RDD.collect.toList(影响性能)

我抬头看谷歌,但找不到任何有效的方法.如果有人有更好的方法,请提供帮助.

解决方法:

Is there any other way to convert RDD into any of the java util collection without using collect() or collectAsMap() etc which does not cause performance degrade?

不,不可能.如果有这种方法,首先将使用它来实现收集.

好吧,从技术上讲,您可以在RDD(或其中的大多数？)之上实现List接口,但这是一个坏主意,而且毫无意义.

So why to have an API which we can not even use (Or am I missing something).

collect仅用于仅输入大RDD或中间结果且输出足够小的情况.如果不是您这种情况,请改用foreach或其他操作.

标签：java,scala,apache-spark,spark-streaming
来源： https://codeday.me/bug/20191011/1894791.html