在 Dataflow 流处理流水线中,延迟或无序记录可能会导致流水线的水印停滞。这些类型的记录是由时间差异导致,例如来自离线设备或时钟偏差客户端的事件。停滞的水位线会延迟按时时间范围结果和事件时间计时器,并可能在延迟的数据最终清除时导致工作器利用率突然飙升。
您可以为 Streaming Engine 作业启用主动水印推进,以防止延迟记录拖慢流水线。启用此功能后,Dataflow 会继续处理延迟的记录,但这些记录不会导致水印停滞,从而使窗口和计时器能够按计划运行。
启用 Eager 水位线推进功能有助于您实现以下目标:
- 可预测的延迟时间:按时输出窗口化聚合,并按计划运行事件时间计时器,而无需等待延迟的记录完成处理。
- 更平稳的工作器利用率:随着准时数据推进水印,关闭窗口并稳定运行计时器,避免因积压的窗口同时关闭而导致工作器利用率激增。
概览
在流处理流水线中,水印是一个阈值,表示 Dataflow 已跟踪到此时间点之前的数据已处理完毕。窗口化聚合会输出准时结果,并且事件时间计时器仅在水印超过窗口末尾或计时器时间戳后运行。
默认情况下,水印基于未处理的事件时间戳下限,并且永远不会向后移动。当记录到达时,如果其事件时间戳晚于当前水印,则水印会停滞,直到该记录处理完毕。由于下游水印无法超过上游水印,因此停滞的上游水印会使其后的每个阶段停滞。当延迟记录在流水线中移动时,每个阶段的水印都会保持停滞状态,直到该记录在该阶段完成处理。即使流水线在其他方面运行正常,这种级联效应也会导致所有下游阶段的准时数据窗口化结果和事件时间计时器出现延迟。当延迟的记录最终被清除时,水印会快速向前跳跃,这通常会触发一连串的窗口关闭,从而导致工作器利用率激增。
对于 Streaming Engine 作业,积极推进水印功能通过将延迟记录与水印推进解耦来改变此行为。当记录到达时,如果其事件时间戳晚于当前水印,Dataflow 会处理该记录,而不会保留该阶段的水印。水印会根据准时数据继续推进,而延迟记录则会根据流水线的允许的延迟时间配置进行处理和输出。
何时使用积极的水位线推进
在以下情况下,水印进度会因记录在当前水印之后到达而停滞,此时,积极的水印推进机制会发挥作用:
- 延迟数据突发:移动设备、IoT 传感器或网络设备离线数小时或数天,在本地缓冲事件,并在重新连接后输出突发的历史数据。
- Pub/Sub 中的无序事件时间:消息到达时事件时间戳早于来源水印的 Pub/Sub 主题,或稀疏填充的主题,其中空闲订阅的水印在消息之间推进到挂钟时间。
- Kafka 分区恢复:配置了事件时间或
CreateTime的 Kafka 来源,其中分区的水印在分区空闲时推进,然后分区收到积压的旧记录。 - 自定义过去的时间戳:使用
outputWithTimestamp输出具有历史时间戳的记录的用户转换。
具有窗口化聚合的迟到数据
如果没有主动水印推进,停滞的水印会使窗口保持打开状态。如果水印停滞的时间足够长,那么稍后到达的延迟记录可能会被视为按时到达,这会针对延迟数据提供一些意外保护。通过提前推进水印,延迟记录不再会拖延水印,因此更多记录会被正确归类为延迟记录。在允许的延迟时间内的延迟记录会在延迟窗格中输出,而在此之后的延迟记录则会从窗口的结果中排除。
不适用积极推进水印的情况
提前推进水印无法解决因准时数据处理缓慢而导致的水印延迟问题。如果由于计算密集型操作、外部 RPC 缓慢或工作器 CPU 和内存瓶颈,转换需要很长时间才能处理准时记录,则水印会被这些缓慢的元素拖慢。主动水印推进仅会解耦已落后于水印的数据。它不会加快缓慢的准时处理速度。
支持和限制
在 Streaming Engine(Java、Python 和 Go)上运行的所有 Apache Beam SDK 版本都支持 Eager 水位线推进。无需升级 SDK。
主动推进水印有以下要求和限制:
- 需要 Streaming Engine:流水线必须使用 Streaming Engine。
- 仅限流处理作业:您只能为流处理流水线启用 Eager 水位线推进。
- 允许的延迟时间:如需在窗口化聚合或有状态处理中处理延迟记录,请在启用 Eager 水位线推进之前,将允许的延迟时间设置为涵盖预期延迟。晚于允许的延迟时间的记录会被丢弃。如需了解详情,请参阅延迟数据。
- 有界限来源:如果流处理作业中的所有来源都是有界限的,则作业在输入结束时不会自行完成。如需停止作业,请排空作业。
- 仅限新作业或替换作业:您无法更改正在运行的作业的 Eager 水位线推进。如需为现有流水线启用或停用该功能,您必须使用流水线更新选项部署替换作业。
准备工作
在启用 Eager 水位线推进之前,请执行以下操作:
- 配置允许的延迟时间以涵盖预期延迟。
- 检查流水线的触发器、累积模式和
PaneInfo处理是否适用于延迟窗格。
启用积极的水位线推进后,请在 Google Cloud 控制台的作业信息面板中监控自定义计数器下的 droppedDueToLateness 计数器,以验证丢弃的延迟数据是否仍保持在应用场景可接受的速率。
启用主动水印推进
如需启用积极的水位线推进,请在启动流水线时设置 enable_eager_watermark_advancement 服务选项:
Java
--dataflowServiceOptions=enable_eager_watermark_advancement
Python
--dataflow_service_options=enable_eager_watermark_advancement
Go
--dataflow_service_options=enable_eager_watermark_advancement
gcloud
使用 gcloud dataflow jobs run 命令运行模板或使用 gcloud dataflow flex-template run 命令运行 Flex 模板时,请添加 --enable-streaming-engine 和 --additional-experiments 标志:
gcloud dataflow flex-template run JOB_NAME \
--template-file-gcs-location=TEMPLATE_LOCATION \
--region=REGION \
--enable-streaming-engine \
--additional-experiments=enable_eager_watermark_advancement
替换以下值:
JOB_NAME:您的 Dataflow 作业的名称TEMPLATE_LOCATION:Flex 模板规范文件的 Cloud Storage 路径REGION:作业运行所在的区域
Terraform
在 google_dataflow_flex_template_job 或 google_dataflow_job 资源上设置 additional_experiments:
resource "google_dataflow_flex_template_job" "pipeline" {
# ...
enable_streaming_engine = true
additional_experiments = ["enable_eager_watermark_advancement"]
}
REST
启动 Flex 模板时,使用 RuntimeEnvironment 对象或 FlexTemplateRuntimeEnvironment 对象中的 additionalExperiments 字段:
{
"additionalExperiments": ["enable_eager_watermark_advancement"]
}
控制台
在 Google Cloud 控制台中,前往 Dataflow 作业页面。
点击基于模板创建作业。
从 Dataflow 模板菜单中选择一个模板。
展开可选参数。
在 Additional experiments 字段中,输入
enable_eager_watermark_advancement。点击运行作业。
验证是否已启用 Eager 水印推进
当作业启动或在启用 Eager 水位线推进的情况下更新时,作业日志会包含以下消息:
Eager watermark advancement is enabled for this job.
当更新开启或关闭 Eager 水位线推进时,作业日志会包含如下所示的消息:
Eager watermark advancement setting changed during a job update. Old setting: false, New setting: true
您还可以查看作业信息面板的流水线选项部分。enable_eager_watermark_advancement 选项会显示在 dataflowServiceOptions 行中,如果您将其设置为实验,则会显示在实验行中。
停用积极的水位线推进
您无法在正在运行的作业上停用 Eager 水位线推进。如需为现有流水线停用该功能,请使用 --update 流水线选项启动替换作业,并从替换选项中省略 enable_eager_watermark_advancement。如需了解详情,请参阅更新流处理流水线。
由于水印永远不会向后移动,因此替换作业的水印会从上一个作业的水印继续,并恢复默认推进行为。
监控 Eager 水位线推进
对于启用了 Eager 水位线推进的作业,Dataflow 会向 Cloud Monitoring 报告以下每个阶段的指标。将这些指标与标准 dataflow.googleapis.com/job/per_stage_data_watermark_age(数据新鲜度)指标结合使用,以评估延迟数据和水印延迟时间:
dataflow.googleapis.com/job/per_stage_data_watermark_age_with_late_data:如果停用 Eager 水印推进,则阶段的数据水印时长。此指标与per_stage_data_watermark_age之间的差值是积极水印推进所消除的水印延迟时间。dataflow.googleapis.com/job/per_stage_oldest_pending_element_age:阶段或阶段上游最旧待处理元素的年龄,包括延迟记录。对于具有窗口化聚合的流水线,此指标与per_stage_data_watermark_age之间的差值近似于最旧的延迟记录落后于水印的程度。如果该差异接近允许的延迟时间,则延迟的记录可能会被丢弃。如需验证是否丢弃了任何延迟记录,请在Google Cloud 控制台的自定义计数器下查看droppedDueToLateness计数器(请参阅准备工作)。
这两个指标均以秒为单位进行报告,并包含 stage 标签。如需了解详情,请参阅使用 Monitoring。
后续步骤
- 详细了解水印和延迟数据。
- 了解如何更新流处理流水线。
- 排查流处理作业缓慢或卡住的问题。