监控和排查交互式会话问题

本文档介绍如何使用 Spark 界面监控 Managed Service for Apache Spark 交互式会话 并排查其问题。

Spark 界面

Spark 界面会从 Managed Service for Apache Spark 交互式会话中收集 Apache Spark 执行详情。Spark 界面功能是免费的，并且默认处于启用状态。Spark 界面功能收集的数据会保留 90 天。

注意： Spark 界面还会收集和显示 Managed Service for Apache Spark 批处理工作负载的执行详情。如需了解详情，请参阅 监控和排查批处理工作负载问题 。

所需的 Identity and Access Management 权限和角色

如需将 Spark 界面功能与交互式会话搭配使用，您需要拥有以下权限：

• 数据收集权限：dataproc.sessions.sparkApplicationWrite。必须向运行交互式会话的服务帐号授予此权限。 此权限包含在 Managed Service for Apache Spark Worker 角色中，该角色会自动授予 Managed Service for Apache Spark 默认使用的 Compute Engine 默认服务帐号 。但是，如果您为会话或会话运行时模板指定了自定义服务账号，则必须向该服务帐号添加此 dataproc.sessions.sparkApplicationWrite 权限（通常是通过向该服务帐号授予 Managed Service for Apache Spark Worker 角色来实现）。

• Spark 界面访问权限：dataproc.sessions.sparkApplicationRead。必须向用户授予此 权限，才能在 Google Cloud 控制台中访问 Spark 界面。此权限包含在 Dataproc Viewer、Dataproc Editor 和 Dataproc Administrator 角色中。如需在 Google Cloud 控制台中打开 Spark 界面，您必须拥有 其中一个角色，或者拥有包含此权限的自定义角色。

打开 Spark 界面

Spark 界面页面位于 Google Cloud 控制台中。

1. 前往 Managed Service for Apache Spark 交互式会话

2. 点击交互式会话 ID 以打开交互式会话详情 页面。
3. 点击顶部菜单中的查看 Spark 界面 。

“查看 Spark 界面”链接是否已停用？ 如果您未获得所需权限，或者在创建会话或创建会话运行时模板时，您在交互式会话详情页面上取消选中**启用 Spark 界面** 复选框，或将spark.dataproc.appContext.enabled 属性设置为 false（默认值为 true），则**查看 Spark 界面** 按钮将处于停用状态。