ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

flink 流的合并

2022-06-17 21:02:49  阅读:244  来源: 互联网

标签:String tuple union flink 合并 Tuple2 connect env


  • union
    union只能合并类型相同的数据,合并的结果仍然是DataStream,结果操作与未合并之前一致。
  public static void main(String[] args) throws Exception {


        //流的合并操作  union 只能合并类型相同的流
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        DataStreamSource<String> ds1 = env.fromElements("night", "Jim", "Mary");

        DataStreamSource<String> ds2 = env.fromElements("四川", "北京", "上海");

        DataStream<String> union = ds1.union(ds2);

        union.print();
        env.execute();
    }

11> 北京
9> Mary
12> 上海
8> Jim
7> night
10> 四川
  • connect
    connect可以连接不同类型的流,后续的处理api也有类似的不同,下列是一个tuple2与Long类型的流合并的结果,做了一个keyBy之后,在map的操作,map的实现接口是CoMapFunction

    public static void main(String[] args) throws Exception {

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        DataStreamSource<Tuple2<String, String>> ds1 = env.fromElements(Tuple2.of("四川", "成都"), Tuple2.of("北京", "朝阳"), Tuple2.of("广东", "深圳"),Tuple2.of("四川", "成都"));

        DataStreamSource<Long> ds2 = env.fromElements(1L, 2L, 3L,2L);


        ConnectedStreams<Tuple2<String, String>, Long> connect = ds1.connect(ds2);

        connect.keyBy(data -> data.f0,data -> data).map(new CoMapFunction<Tuple2<String, String>, Long, String>() {
//
            @Override
            public String map1(Tuple2<String, String> stringStringTuple2) throws Exception {
                return "this is tuple" + stringStringTuple2;
            }

            @Override
            public String map2(Long aLong) throws Exception {
                return "this is number" + aLong;
            }
        }).print();

        env.execute();

6> this is tuple(广东,深圳)
7> this is tuple(北京,朝阳)
15> this is number3
16> this is tuple(四川,成都)
11> this is number1
16> this is number2
16> this is tuple(四川,成都)
16> this is number2

标签:String,tuple,union,flink,合并,Tuple2,connect,env
来源: https://www.cnblogs.com/tulip-night/p/16387042.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有