java – 使用spark streaming从数据库中读取流

我想使用spark streaming来读取来自RDBMS数据库的数据,比如mysql.

但我不知道如何使用JavaStreamingContext来做到这一点

 JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.milliseconds(500));
DataFrame df = jssc. ??

我在互联网上搜索,但我没有找到任何东西

先感谢您.

解决方法:

如果不安装某些第三方软件,你就无法做到这一点.
你可以做的是创建一个个性化的接收器,它可以完成你想要的,使用SparkSQL包和Streaming组合.
实现扩展Receiver的类,并在内部执行从数据库中提取数据所需的所有连接和查询.
我现在在工作,所以我会给你一个链接,看看而不是产生代码,抱歉：
http://spark.apache.org/docs/latest/streaming-custom-receivers.html
https://medium.com/@anicolaspp/spark-custom-streaming-sources-e7d52da72e80

标签：java,apache-spark,mysql,spark-dataframe,spark-streaming
来源： https://codeday.me/bug/20190824/1704428.html