相当于Apache Beam DynamicDestinations Python
作者:互联网
Apache Beam Java SDK具有一个DynamicDestinations类,该类允许根据输入元素写入不同的大查询表.我在Python SDK中看不到任何类似的东西.是否有一些类可以写入Python SDK中动态选择的目标表?
解决方法:
就各种功能而言,Apache Beam Python SDK仍不如Java SDK先进,因此的确,您可能会看到一些缺少的功能,这些功能仍然仅在Java SDK中可用.
据我所知,根据我能找到的Python SDK Beam’s BigQuery IO documentation,目前没有可用于指定动态BigQuery目的地的类,因为Java SDK已提供该类(Dynamic Destinations in Java SDK).
我建议您在Apache Beam Jira issue tracker中提出一个新问题作为功能请求,解释为什么该功能可以很好地添加到Python SDK中,并希望开发人员也考虑使用此选项.
标签:apache-beam,python,google-cloud-dataflow 来源: https://codeday.me/bug/20191109/2011261.html