当前位置： 首页 >> Flink >> Flink API JOIN总结

---

Flink API JOIN总结

2024-01-06 11:24:25 星期六  发表于北京  阅读：785

---

 Flink双流JOIN其实可以理解为统计一定时间（在业务可接受的匹配时间范围）内两条流的匹配情况 #### 一、Window JOIN Flink基于一段时间的双流合并提供了一个窗口连接算子，可以定义时间窗口，并将两条流中共享同一个公共键的数据放在同一个窗口中进行匹配 Flink window join可分为： >滚动window join 滑动window join 会话window join 原理大同小异，以下以滚动window jion为例展开说明 ##### 示意图  ##### demo ```scala stream1.join(stream2) .where(<KeySelector>) .equalTo(<KeySelector>) .window(<WindowAssigner>) .apply(<JoinFunction>) // JoinFunction就是JOIN上之后需要处理的操作，可以根据业务场景进行个性化处理(重写原函数) @Override public String join(Object left, Object right){ return left + "---" + right; } ``` | 优点 | 缺点 | | ------------ | ------------ | | 处理逻辑简单 |落在同一个时间窗口范围内才能匹配，只能拿到匹配上的数据，类似inner join | Flink并**不建议使用这种方式关联**，因为按照窗口来固定关联边界，只要有一条流稍微有延迟，可能就匹配不上了，容错性很低。而且也无法拿到匹配不上的数据 #### 二、Interval JOIN 在大多数场景中，我们要处理的时间间隔可能并不是固定的，这时显然不应该用滚动窗口来处理，Flink提供了一种叫做间隔连接的合流操作——针对一条流的每条数据，开辟出其时间戳前后的一段时间间隔（**上界和下界**），看该间隔是否有来自另一条流的数据匹配 ##### 示意图  注：Interval join 目前仅支持 event time ##### demo ```java orangeStream .keyBy(<KeySelector>) .intervalJoin(greenStream.keyBy(<KeySelector>)) .between(Time.milliseconds(-2), Time.milliseconds(1)) .process (new ProcessJoinFunction<Integer, Integer, String>(){ @Override public void processElement(Integer left, Integer right, Context ctx, Collector<String> out) { out.collect(left + "," + right); } }); ``` | 优点 | 缺点 | | ------------ | ------------ | | 双流JOIN关联率大大提高</br> 可单独处理迟到数据（关联不上的数据）| 任务占用资源较多 |