当前位置: 首页 > news >正文

完整教程:Flink Watermark机制解析

可以把 Watermark 理解为开发者向 Flink 下达的一个推进其内部事件时间时钟的指令。时钟推进的速度和准确性,取决于对自己数据流乱序特性的了解程度。所谓的“保证”,其实是开发者和 Flink 运行时之间基于定义的策略而达成的一种“契约”。

Flink Watermark 的工作机制可以分为两个核心部分:

  1. Watermark 的时间是如何确定的?
  2. 它如何能“保证”在这之前的所有事件都已经到达了?

Watermark 的时间是如何确定的?

Watermark 的时间戳不是由 Flink 自动猜测的,而是由用户定义的逻辑来生成的。这个逻辑体现在一个叫做 WatermarkGenerator 的组件中。开发者需要根据数据流的特性提供生成 Watermark 的具体算法。

这个过程通常包含两个步骤:

  1. 时间戳分配 (Timestamp Assignment):首先,通过 TimestampAssigner 从每条事件中提取其业务时间(Event Time)。这通常是事件数据本身的一个字段,比如 event.getCreationTime()

  2. Watermark 生成 (Watermark Generation)WatermarkGenerator 会观察这些事件的时间戳,并根据其内部逻辑来决定何时生成新的 Watermark,以及这个 Watermark 的时间戳应该是多少。

WatermarkGenerator 接口定义了两个核心方法:

// ... existing code ...
@Public
public interface WatermarkGenerator {/*** 每个事件都会调用此方法,允许 Watermark 生成器检查并记录事件时间戳,* 或者基于事件本身发出一个 Watermark。*/void onEvent(T event, long eventTimestamp, WatermarkOutput output);/*** 定期调用此方法,可能会发出一个新的 Watermark,也可能不发。** 

此方法的调用周期取决于 {@link* ExecutionConfig#getAutoWatermarkInterval()} 的配置。*/void onPeriodicEmit(WatermarkOutput output); }

为了方便使用,Flink 内置了几种常见的生成策略:

  • 单调递增时间戳 (For Monotonously Ascending Timestamps):这是最简单的情况,适用于事件严格按照时间顺序到达的场景。Watermark 的时间戳基本上就是当前所见到的最新事件的时间戳。

    • 逻辑watermark_timestamp = latest_event_timestamp - 1 (减 1 是为了确保时间戳为 T 的事件能被结束时间为 T 的窗口所包含)。
  • 有界乱序 (For Bounded Out-of-Orderness):这是最常见、最实用的策略。需要告诉 Flink,预计事件最大会迟到多久(例如,5秒)。生成器会追踪到目前为止遇到的最大时间戳 (maxTimestamp),然后发出一个比 maxTimestamp 延迟了指定时间的 Watermark。

    • 逻辑watermark_timestamp = max_timestamp_seen - max_lateness_delay
    • 这在 Flink 中的具体实现如下:
    // ... existing code ...
    public class BoundedOutOfOrdernessWatermarks implements WatermarkGenerator {/** 到目前为止遇到的最大时间戳。 */private long maxTimestamp;/** 此 Watermark 生成器所假定的最大乱序程度。 */private final long outOfOrdernessMillis;
    // ... existing code ...@Overridepublic void onEvent(T event, long eventTimestamp, WatermarkOutput output) {maxTimestamp = Math.max(maxTimestamp, eventTimestamp);}@Overridepublic void onPeriodicEmit(WatermarkOutput output) {output.emitWatermark(new Watermark(maxTimestamp - outOfOrdernessMillis - 1));}
    }

它如何能“保证”之前的事件都已到达?

这是理解 Watermark 的关键:Watermark 是一种启发式机制 (heuristic),而不是一个绝对的物理保证。

一个 Watermark(t) 实际上是开发者对 Flink 系统的一个声明,它的意思是:“我(开发者)相信,不会再有时间戳小于等于 t 的事件到来了。

  • “保证”来自于你的“假设”:这个保证的强度完全取决于你在 WatermarkGenerator 中提供的逻辑是否符合真实数据的特性。

    • 如果你使用了5秒的“有界乱序”策略,你其实是在告诉 Flink 去假设所有事件的迟到时间都不会超过5秒。
    • Flink 会信任这个假设,并使用这个 Watermark 来推进内部的事件时间时钟,从而触发窗口计算等时间相关的操作。
  • 如果假设是错的怎么办?(迟到事件):如果一个时间戳为 t_event 的事件,在系统已经处理了 Watermark(t_watermark) (其中 t_event <= t_watermark) 之后才到达,那么这个事件就被认为是迟到 (late) 的。

    • 默认情况下,Flink 会丢弃这个迟到的事件。
    • 当然,Flink 也提供了处理迟到数据的机制,比如窗口操作中的 allowedLateness(),它允许你在一定宽限期内继续处理迟到的数据。
  • 唯一真正的保证:Watermark.MAX_WATERMARK:只有一个特殊的 Watermark 能提供真正的保证。当一个数据源处理完所有数据后(例如文件读完了),它会发出一个时间戳为 Long.MAX_VALUE 的最终 Watermark。这个 Watermark 标志着“时间的终结”,它能绝对保证此后不会再有任何事件了,从而让 Flink 可以安全地关闭所有未触发的窗口和定时器。

    // ... existing code .../** 标志着事件时间结束的 Watermark。 */public static final Watermark MAX_WATERMARK = new Watermark(Long.MAX_VALUE);
    // ... existing code ...

http://www.hskmm.com/?act=detail&tid=20050

相关文章:

  • 2025 年北京湖南菜餐厅推荐:小湖南岸以湖湘本味与匠心服务,成京城湘菜口碑之选
  • Vector
  • SSM
  • Mybatis Plus
  • 0927模拟赛总结
  • AT_agc010_b [AGC010B] Boxes
  • Selenium自动化脚本总报错?这7个调试技巧帮你解决90%问题
  • C语言 - *进制转*进制 3
  • ThreadLocal详解
  • C语言 - *进制转*进制 2
  • Functions
  • QOJ #5421. Factories Once More 题解
  • 自动生成验证码
  • 9.23 总结
  • 新品团购 V3 小程序:助力商家高效拓客与直播带货的全能解决方案
  • 事倍功半是蠢蛋56 写业务不要有预设心态
  • 365 赚钱宝小程序系统:多元化变现与趣味运营一体的小程序解决方案
  • 9.22 总结
  • Ansible实现自动化运维 - 实践
  • 每天30道四则运算题目(随机数习题)
  • capsWriter-offline可否支持更小声音输入调研-opus4.1答复
  • git 版本控制
  • 读书笔记:字符与二进制字符串类型详解
  • 析构——循环引用
  • 一些树上问题
  • 如何用 ShedLock 让 Spring Boot 的定时任务在多实例环境下只执行一次
  • 故障处理:Oracle表空间异常增长后又恢复正常的故障模拟与分析
  • Oracle故障分析:lsnrctl start启动监听很慢(AIX平台)
  • 第十届新能源系统、电气与电力国际学术会议 (NESEP 2025)
  • 数据结构 - 二叉树的非递归方式遍历