python-自动创建用于流插入的BQ表

也许我弄错了：有没有一种方法可以自动为tabledata.insertAll命令创建目标表？如果是,请指出正确的方向.

如果不是-创建所需表的最佳方法是什么？在启动时检查现有表,然后通过从GCS加载创建不存在的表？还是可以不通过加载工作直接从代码中创建它们？

我定义了许多事件类(Python Cloud端点),完美的解决方案是使用这些定义来创建匹配的BQ表.

解决方法:

由于BigQuery不知道架构,因此无法在流式传输期间自动创建表.您发布的JSON数据没有类型信息-如果存在字段“ 123”,我们不知道该字段将始终是字符串还是实际上应该是整数.此外,如果发布的数据缺少可选字段,则创建的架构将比所需的架构更窄.

创建表的最佳方法是使用tables.insert()调用(无需运行加载作业即可从GCS加载数据).您可以精确地提供所需的架构,一旦创建了表,就可以向其中传输数据.

在某些情况下,客户预先创建了一个月的表,因此他们只需要每30天担心一次.在其他情况下,您可能需要在启动时检查表是否存在,如果不存在,请创建表.

标签：google-bigquery,python
来源： https://codeday.me/bug/20191029/1963378.html