其他分享
首页 > 其他分享> > DataWorks功能实践速览 05——循环与遍历

DataWorks功能实践速览 05——循环与遍历

作者：互联网

简介：DataWorks功能实践系列，帮助您解析业务实现过程中的痛点，提高业务功能使用效率！通过往期的介绍，您已经了解到在DataWorks上进行任务运行的最关键的几个知识点，其中上期参数透传中为您介绍了可以将上游节点参数透传到下游节点的特殊节点——赋值节点，结合赋值节点和其他节点，可实现循环或遍历读取处理数据的任务。本期为您介绍如何在DataWorks上实现循环与遍历任务。

1.png

往期回顾：


通过往期的介绍，您已经了解到在DataWorks上进行任务运行的最关键的几个知识点，其中上期参数透传中为您介绍了可以将上游节点参数透传到下游节点的特殊节点——赋值节点，结合赋值节点和其他节点，可实现循环或遍历读取处理数据的任务。本期为您介绍如何在DataWorks上实现循环与遍历任务。


功能推荐：循环节点与遍历节点

在进行数据开发任务编译的过程中，有时我们可能碰到需要进行循环或遍历的任务场景，DataWorks为您提供两类特殊节点以满足此类场景的使用需求。


对比项

循环节点（do-while节点）

遍历节点（for-each节点）

应用场景

根据对象集合的数量逐条读取并判断是否满足循环条件，如果满足则继续循环，如果不满足则退出循环，循环次数根据每次循环的判断结果而定，不固定。

根据对象集合的数量逐条读取（遍历），循环次数已知。

节点应用

您可以重新编排do-while节点内部的业务流程，将需要循环执行的逻辑写在节点内，再编辑end循环判断节点来控制是否退出循环。同时您也可以结合赋值节点来循环遍历赋值节点传递的结果集。

您可以通过for-each节点来循环遍历赋值节点传递的结果集。同时您也可以重新编排for-each节点内部的业务流程。


通常循环节点（do-while节点）与遍历节点（for-each节点）会与赋值节点联合使用，将上游节点的输出通过赋值节点传递给下游节点，在下游节点中对上游节点的输出结果进行循环或遍历。

同时，循环节点（do-while节点）与遍历节点（for-each节点）与其他简单节点不一致的地方在于，这类逻辑节点自身包含内部节点。以do-while节点为例，一个do-while节点创建完成后，通常会为您自动创建好3个内部节点，同时您也可以将内部节点重新进行内部业务流程和节点内容的编译。


2.png


Part1：循环节点（do-while节点）

1.1 节点组成

DataWorks的do-while节点是包含内部节点的一种特殊节点，您在创建完成do-while节点时，同时也自动创建完成了三个内部节点：start节点（循环开始节点）、sql节点（循环任务节点）、end节点（循环结束判断节点），通过内部节点组织成内部节点流程，实现任务的循环运行。

3.png

如上图所示：

说明 自定义循环任务节点时，您可以删除内部节点间的依赖关系，重新编排循环节点内部业务流程，但需要分别将start节点、end节点分别作为do-while节点内部业务流程的首末节点。


1.2 使用限制与注意事项


1.3 典型应用：与赋值节点联合使用

do-while节点常常与赋值节点联合使用，如下图所示。

4.png

与赋值节点联合使用时：


1.4 内置变量

DataWorks的do-while节点，通过内部节点来实现循环运行任务，每次任务循环运行时，您可以通过一些内置的变量来获取当前已循环次数和偏移量。


内置变量

含义

取值

${dag.loopTimes}

当前已循环次数

第一次循环为1、第二次为2、第三次为3…第n次为n。

${dag.offset}

偏移量

第一次循环为0、第二次为1、第三次为2…第n次为n-1。


如果您联合使用了赋值节点，则还可以通过以下方式来获取赋值参数值和循环变量参数。

说明以下以变量示例中，input是do-while节点中自定义的本节点输入参数名称，实际使用时，需替换为您真实的名称。


内置变量

含义

${dag.input}

上游赋值节点传递的数据集。

${dag.input[${dag.offset}]}

循环节点内部获取当前循环的数据行。

${dag.input.length}

循环节点内部获取数据集长度。


1.5 变量取值案例

上游赋值节点为shell节点，最后一条输出结果为2021-03-28,2021-03-29,2021-03-30,2021-03-31,2021-04-01，此时，各变量的取值如下：


内置变量

第1次循环时取值

第2次循环时取值

${dag.input}

2021-03-28,2021-03-29,2021-03-30,2021-03-31,2021-04-01

${dag.input[${dag.offset}]}

2021-03-28

2021-03-29

${dag.input.length}

5

${dag.loopTimes}

1

2

${dag.offset}

0

1


上游赋值节点为ODPS SQL节点，最后一条select语句查询出两条数据：


​+----------------------------------------------+​

​| uid            | region | age_range | zodiac |​

​+----------------------------------------------+​

​| 0016359810821  | 湖北省 | 30~40岁   | 巨蟹座 |​

​| 0016359814159  | 未知   | 30~40岁   | 巨蟹座 |​

​+----------------------------------------------+​


此时，各变量的取值如下：


内置变量

第1次循环时取值

第2次循环时取值

${dag.input}

+----------------------------------------------+

| uid            | region | age_range | zodiac |

+----------------------------------------------+

| 0016359810821  | 湖北省 | 30~40岁   | 巨蟹座 |

| 0016359814159  | 未知   | 30~40岁   | 巨蟹座 |

+----------------------------------------------+

${dag.input[${dag.offset}]}

0016359810821,湖北省,30~40岁,巨蟹座

0016359814159,未知,30~40岁,巨蟹座

${dag.input.length}

2

说明 二维数组的行数为数据集长度，当前赋值节点输出的二维数组行数为2。

${dag.input[0][1]

说明 二维数组的第一行第一列的取值。

0016359810821

${dag.loopTimes}

1

2

${dag.offset}

0

1


Part2：遍历节点（for-each节点）

2.1 节点组成

DataWorks的for-each节点是包含内部节点的一种特殊节点，您在创建完成for-each节点时，同时也自动创建完成了三个内部节点：start节点（循环开始节点）、sql节点（循环任务节点）、end节点（循环结束判断节点），通过内部节点组织成内部节点流程，实现对上游赋值接节点输出结果的循环遍历。

5.png

如上图所示：

说明 自定义循环任务节点时，您可以删除内部节点间的依赖关系，重新编排循环节点内部业务流程，但需要分别将start节点、end节点分别作为for-each节点内部业务流程的首末节点。

说明 for-each节点的end节点不控制循环遍历的次数，for-each节点的循环遍历次数由上游赋值节点实际输出控制。


2.2 使用限制与注意事项

for-each遍历节点需要遍历赋值节点传递的值，所以赋值节点需作为for-each节点的上游节点，for-each节点需要依赖赋值节点。


​+----------------------------------------------+​

​| uid            | region | age_range | zodiac |​

​+----------------------------------------------+​

​| 0016359810821  | 湖北省 | 30~40岁   | 巨蟹座 |​

​| 0016359814159  | 未知   | 30~40岁   | 巨蟹座 |​

​+----------------------------------------------+​


则for-each节点会循环2次完成遍历。


2.3 典型应用

DataWorks的for-each节点主要用于有循环遍历的场景，且需要与赋值节点联合使用，将赋值节点作为for-each节点的上游节点，将赋值节点的输出结果赋值给for-each节点后，一次次循环来遍历赋值节点的输出结果。6.png


2.4 内置变量

DataWorks的for-each节点每次循环遍历赋值节点的输出结果时，您可以通过一些内置的变量来获取当前已循环次数和偏移量。


内置变量

含义

与for循环对比

${dag.loopDataArray}

获取赋值节点的数据集

相当于for循环中的代码结果：

data=[]

${dag.foreach.current}

获取当前遍历值

以下面的for循环代码为例：

for(int i=0;i<data.length;i++) { print(data[i]); }

  • data[i]相当于${dag.foreach.current}。
  • i相当于${dag.offset}。

${dag.offset}

当前偏移量

（每一次遍历相对于第一次的偏移量）

${dag.loopTimes}

获取当前遍历次数

-


在您了解自己输出的表结构的情况下，您可以使用如下变量方式，获取其他变量取值。


其他变量

含义

${dag.foreach.current[n]}

上游赋值节点的输出结果为二维数组时，每次遍历时获取当前数据行的某列的数据。

${dag.loopDataArray[i][j]}

上游赋值节点的输出结果为二维数组时，获取数据集中具体i行j列的数据。

${dag.foreach.current[n]}

上游赋值节点的输出结果为一维数组时，获取具体某列数据。


2.5 内置变量取值案例

上游赋值节点为shell节点，最后一条输出结果为2021-03-28,2021-03-29,2021-03-30,2021-03-31,2021-04-01，此时，各变量的取值如下：

说明 由于输出结果为一维数组，数组元素个数为5（逗号分隔每个元素），因此for-each总遍历次数为5。


内置变量

第1次循环遍历的取值

第2次循环遍历的取值

${dag.loopDataArray}

2021-03-28,2021-03-29,2021-03-30,2021-03-31,2021-04-01

${dag.foreach.current}

2021-03-28

2021-03-29

${dag.offset}

0

1

${dag.loopTimes}

1

2

${dag.foreach.current[3]}

2021-03-30


上游赋值节点为ODPS SQL节点，最后一条select语句查询出两条数据：

​+----------------------------------------------+​

​ | uid            | region | age_range | zodiac | ​

​+----------------------------------------------+​

​ | 0016359810821  | 湖北省 | 30~40岁   | 巨蟹座 | ​

​| 0016359814159  | 未知   | 30~40岁   | 巨蟹座 | ​

​+----------------------------------------------+​

此时，各变量的取值如下：

说明 由于输出结果为二维数组，数组行数为2，因此for-each总遍历次数为2。


内置变量

第1次循环遍历的取值

第2次循环遍历的取值

${dag.loopDataArray}

+----------------------------------------------+

 | uid            | region | age_range | zodiac | 

+----------------------------------------------+

 | 0016359810821  | 湖北省 | 30~40岁   | 巨蟹座 | 

| 0016359814159  | 未知   | 30~40岁   | 巨蟹座 | 

+----------------------------------------------+

${dag.foreach.current}

0016359810821,湖北省,30~40岁,巨蟹座

0016359814159,未知,30~40岁,巨蟹座

${dag.offset}

0

1

${dag.loopTimes}

1

2

${dag.foreach.current[0]}

0016359810821

0016359814159

${dag.loopDataArray[1][0]}

0016359814159



原文链接：https://developer.aliyun.com/article/793529?

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

标签：dag,05,each,DataWorks,循环,速览,遍历,节点,赋值
来源： https://blog.csdn.net/alitech2017/article/details/120761786