监控数据流

您可以使用 Datastream 监控数据流处理的数据和事件,并配置提醒政策来跟踪复制运行状况。在 Datastream 中,事件表示源中的单次更改,例如向数据库表中添加新行。如需监控流错误,请参阅排查流问题。

Datastream 会在图表中显示数据流性能,包括吞吐量、不受支持的事件、数据新鲜度、系统延迟时间和总延迟时间。吞吐量显示数据流传输数据(以兆字节为单位)或处理事件的速率。不支持的事件会跟踪 Datastream 无法处理的来源事件的数量。

数据新鲜度用于衡量数据写入来源到 Datastream 读取正在处理的最早事件之间的时间。当没有要读取的新事件时,此指标为 0,并且仅在 Datastream 开始读取这些事件后,此指标才会反映活动高峰。 系统延迟时间跟踪 Datastream 读取事件并将其写入目标位置之间的时间。总延迟时间表示从数据写入源到相应事件到达目标位置的端到端延迟时间。

监控处理的数据或事件

  1. 前往 Google Cloud 控制台中的数据流页面。

    转到“数据流”页面

  2. 点击要监控的数据流。

  3. 可选。滚动屏幕,直到出现数据新鲜度图表。对于此图表,请点击创建提醒政策链接,为其创建提醒政策。提醒政策描述了您要为图表监控的一组条件。

    点击该链接后,Cloud Monitoring 中会显示创建提醒政策页面。在此页面上,您可以为图表定义提醒政策。这包括指定哪些条件会触发政策、在满足条件时通知哪些人,以及如何通知他们。

    如需详细了解提醒政策(包括如何创建提醒政策),请参阅管理基于指标的提醒政策。

  4. 点击监控标签。

  5. 滚动到显示 Datastream 正在监控的数据或事件的图表。

  6. (可选)如果您正在查看吞吐量图表,选择(字节/秒)可查看 Datastream 从来源转移到目标位置的数据量,或者选择(事件/秒)可查看与要转移的数据相关联的事件数量。

  7. 如需查看 Datastream 在数小时或数天内处理的数据量或事件数,请点击 1 小时、6 小时、12 小时、1 天、2 天、4 天、7 天、14 天或 30 天。

    或者,如需设置自定义范围,请选择自定义菜单,然后使用日历选择器指定要查看的数据量或事件数量的开始日期和时间以及结束日期和时间。

    Datastream 会更新窗格中的图表以反映您的选择,并显示您指定的间隔。

    例如,如果今天是 2021 年 10 月 31 日,而您点击 30 天,则该图表将显示 Datastream 自 2021 年 10 月 1 日起处理的数据量或事件数量。

  8. 将指针悬停在图表中的线条上,即可显示 Datastream 在特定日期和时间处理的数据量或事件数。

后续步骤