收集 NetApp 控制台（以前称为 BlueXP）审核日志

支持的平台：

Google SecOps SIEM

注意： 此功能受《Google Security Operations 服务专用条款》的正式发布前产品条款的约束。我们对正式发布前功能的支持可能有限，并且对正式发布前功能的更改与其他正式发布前版本可能不兼容。如需了解详情，请参阅 Google SecOps 技术支持服务准则和 Google SecOps 服务专用条款。

本文档介绍了如何使用 Google Cloud Storage V2 将 NetApp 控制台（以前称为 BlueXP）审核日志注入到 Google Security Operations。

NetApp 控制台是一个统一的控制平面，用于跨本地和云环境管理混合多云存储和数据服务。审核服务会记录控制台服务执行的操作，包括原始 IP 地址、工作区、使用的控制台代理以及其他有助于进行取证分析和满足合规性要求的遥测数据。

准备工作

确保您满足以下前提条件：

• Google SecOps 实例
• 启用了 Cloud Storage、Cloud Run、Pub/Sub 和 Cloud Scheduler API 的 GCP 项目
• 创建和管理 GCS 存储分区的权限
• 管理 GCS 存储分区的 IAM 政策的权限
• 创建 Cloud Run 服务、Pub/Sub 主题和 Cloud Scheduler 作业的权限
• 对 NetApp 控制台拥有管理权限，并有权创建服务账号
• 您的 NetApp 控制台账号 ID

配置 NetApp 控制台 API 访问权限

如需让 Google SecOps 检索审核日志，您需要创建一个具有相应权限的服务账号并生成 API 凭据。

获取您的账号 ID

1. 使用浏览器前往 NetApp 控制台。
2. 使用 NetApp 控制台凭据或 NetApp 支持网站凭据登录。
3. 点击页面顶部的账号下拉菜单。
4. 点击所选账号的管理账号。

5. 在概览部分中，复制账号 ID 值。

   注意： 账号 ID 是进行 API 调用所需的唯一标识符。以 UUID 格式显示（例如 account-AbCdEfGh）。

创建服务账号

1. 在 NetApp 控制台中，依次前往管理 > 身份和访问权限。
2. 选择会员。
3. 选择添加成员。
4. 对于成员类型，选择服务账号。
5. 输入服务账号的名称（例如 Google SecOps Integration）。

6. 保持未选中使用私钥 JWT 身份验证，以使用客户端密钥身份验证。

   注意： 建议使用客户端密钥身份验证，以简化流程。私钥 JWT 身份验证可提供更高的安全性，但需要管理 RSA 密钥对或 X.509 证书。

7. 在选择组织、文件夹或项目部分，选择您的组织。

8. 对于类别，选择组织。

9. 对于角色，选择组织查看者。

   注意： 组织查看者角色提供对审核日志的只读权限。这遵循了最小权限原则，因为日志提取不需要写入权限。

10. 点击 Add（添加）。

记录 API 凭据

创建服务账号后，系统会显示一个对话框，其中包含您的凭据：

• 客户端 ID：您的唯一客户端标识符（例如 TvPPs4SeM5smEElsGmdDUznljhN3YY8s）
• 客户端密钥：您的 API 密钥

重要提示： 请立即复制并保存客户端密钥。控制台只会显示一次，之后您将无法再检索该密钥。如果客户端密钥丢失，您必须删除该服务账号并创建一个新账号。

1. 将客户端 ID 和客户端密钥 下载或复制到安全的位置。
2. 点击关闭。

验证权限

如需验证服务账号是否具有所需权限，请执行以下操作：

1. 登录 NetApp 控制台。
2. 依次前往管理 > 身份和访问权限。
3. 选择会员。
4. 找到您创建的服务账号，并验证该账号是否具有组织查看者角色。
5. 如果未分配该角色，请点击服务账号名称，然后将角色更新为组织查看者。

测试 API 访问权限

• 在继续进行集成之前，请先测试您的凭据：

  # Replace with your actual credentials
  CLIENT_ID="your-client-id"
  CLIENT_SECRET="your-client-secret"
  ACCOUNT_ID="your-account-id"
  
  # Obtain access token
  TOKEN=$(curl -s -X POST "https://netapp-cloud-account.auth0.com/oauth/token" \
      -H "Content-Type: application/json" \
      -d '{
          "grant_type": "client_credentials",
          "client_id": "'"${CLIENT_ID}"'",
          "client_secret": "'"${CLIENT_SECRET}"'",
          "audience": "https://api.cloud.netapp.com"
      }' | python3 -c "import sys,json; print(json.load(sys.stdin)['access_token'])")
  
  # Test audit API access
  curl -s -H "Authorization: Bearer ${TOKEN}" \
      "https://cloudmanager.cloud.netapp.com/audit/${ACCOUNT_ID}?offset=0" \
      | python3 -m json.tool
  

成功的响应会返回一个 JSON 对象，其中包含指定账号的审核记录。

创建 Google Cloud Storage 存储桶

1. 前往 Google Cloud 控制台。
2. 选择您的项目或创建新项目。
3. 在导航菜单中，依次前往 Cloud Storage > 存储分区。
4. 点击创建存储分区。

5. 提供以下配置详细信息：

   设置	值
   为存储桶命名	输入一个全局唯一的名称（例如 netapp-bluexp-audit-logs）
   位置类型	根据您的需求进行选择（区域级、双区域、多区域）
   位置	选择营业地点（例如 us-central1）
   存储类别	标准（建议用于经常访问的日志）
   访问权限控制	均匀（推荐）
   保护工具	可选：启用对象版本控制或保留政策

6. 点击创建。

为 Cloud Run 函数创建服务账号

1. 在 GCP 控制台中，依次前往 IAM 和管理 > 服务账号。
2. 点击创建服务账号。
3. 提供以下配置详细信息：
   • 服务账号名称：输入 netapp-bluexp-collector-sa
   • 服务账号说明：输入 Service account for Cloud Run function to collect NetApp Console audit logs
4. 点击创建并继续。
5. 在向此服务账号授予对项目的访问权限部分中，添加以下角色：
   1. 点击选择角色。
   2. 搜索并选择 Storage Object Admin。
   3. 点击 + 添加其他角色。
   4. 搜索并选择 Cloud Run Invoker。
   5. 点击 + 添加其他角色。
   6. 搜索并选择 Cloud Functions Invoker。
6. 点击继续。
7. 点击完成。

授予对 GCS 存储桶的 IAM 权限

1. 前往 Cloud Storage > 存储分区。
2. 点击您的存储桶名称 (netapp-bluexp-audit-logs)。
3. 前往权限标签页。
4. 点击授予访问权限。
5. 提供以下配置详细信息：
   • 添加主账号：输入服务账号电子邮件地址 (netapp-bluexp-collector-sa@PROJECT_ID.iam.gserviceaccount.com)
   • 分配角色：选择 Storage Object Admin
6. 点击保存。

创建 Pub/Sub 主题

1. 在 GCP 控制台中，前往 Pub/Sub > 主题。
2. 点击创建主题。
3. 提供以下配置详细信息：
   • 主题 ID：输入 netapp-bluexp-audit-trigger
   • 将其他设置保留为默认值
4. 点击创建。

创建 Cloud Run 函数以收集日志

Cloud Run 函数将由来自 Cloud Scheduler 的 Pub/Sub 消息触发，以从 NetApp 控制台审核 API 中提取审核日志并将其写入 GCS。

1. 在 GCP 控制台中，前往 Cloud Run。
2. 点击创建服务。
3. 选择函数（使用内嵌编辑器创建函数）。

4. 在配置部分中，提供以下配置详细信息：

   设置	值
   Service 名称	netapp-bluexp-collector
   区域	选择与您的 GCS 存储桶匹配的区域（例如 us-central1）
   运行时	选择 Python 3.12 或更高版本

5. 在触发器（可选）部分中：

   1. 点击 + 添加触发器。
   2. 选择 Cloud Pub/Sub。
   3. 在选择 Cloud Pub/Sub 主题中，选择 netapp-bluexp-audit-trigger。
   4. 点击保存。

6. 在身份验证部分中：

   1. 选择需要进行身份验证。
   2. 检查 Identity and Access Management (IAM)。
   注意： 调用函数时，Pub/Sub 会自动处理身份验证。

7. 向下滚动并展开容器、网络、安全性。

8. 前往安全性标签页：

   • 服务账号：选择 netapp-bluexp-collector-sa

9. 前往容器标签页：

   1. 点击变量和密钥。
   2. 为每个环境变量点击+ 添加变量：

   变量名称	示例值	说明
   GCS_BUCKET	netapp-bluexp-audit-logs	GCS 存储桶名称
   GCS_PREFIX	netapp-bluexp-audit	日志文件的前缀
   STATE_KEY	netapp-bluexp-audit/state.json	状态文件路径
   NETAPP_CLIENT_ID	your-client-id	NetApp 控制台服务账号客户端 ID
   NETAPP_CLIENT_SECRET	your-client-secret	NetApp 控制台服务账号客户端密钥
   NETAPP_ACCOUNT_ID	account-AbCdEfGh	NetApp 控制台账号 ID
   MAX_RECORDS	5000	每次运行的记录数上限
   LOOKBACK_HOURS	24	初始回溯期

10. 在变量和 Secret 部分中，向下滚动到请求：

    • 请求超时：输入 600 秒（10 分钟）

11. 前往设置标签页：

    • 在资源部分中：
      • 内存：选择 512 MiB 或更高值
      • CPU：选择 1

12. 在修订版本伸缩部分中：

    • 实例数下限：输入 0
    • 实例数上限：输入 100

13. 点击创建。

14. 等待服务创建完成（1-2 分钟）。

15. 创建服务后，系统会自动打开内嵌代码编辑器。

添加函数代码

1. 在入口点字段中输入 main。

2. 在内嵌代码编辑器中，创建两个文件：

   • main.py:

   import functions_framework
   from google.cloud import storage
   import json
   import os
   import urllib3
   from datetime import datetime, timezone, timedelta
   import time
   
   http = urllib3.PoolManager(
     timeout=urllib3.Timeout(connect=5.0, read=30.0),
     retries=False,
   )
   
   storage_client = storage.Client()
   
   GCS_BUCKET = os.environ.get('GCS_BUCKET')
   GCS_PREFIX = os.environ.get('GCS_PREFIX', 'netapp-bluexp-audit')
   STATE_KEY = os.environ.get('STATE_KEY', 'netapp-bluexp-audit/state.json')
   NETAPP_CLIENT_ID = os.environ.get('NETAPP_CLIENT_ID')
   NETAPP_CLIENT_SECRET = os.environ.get('NETAPP_CLIENT_SECRET')
   NETAPP_ACCOUNT_ID = os.environ.get('NETAPP_ACCOUNT_ID')
   MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '5000'))
   LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24'))
   
   TOKEN_URL = 'https://netapp-cloud-account.auth0.com/oauth/token'
   API_BASE = 'https://cloudmanager.cloud.netapp.com'
   AUDIENCE = 'https://api.cloud.netapp.com'
   
   def to_unix_millis(dt):
     if dt.tzinfo is None:
       dt = dt.replace(tzinfo=timezone.utc)
     dt = dt.astimezone(timezone.utc)
     return int(dt.timestamp() * 1000)
   
   def parse_datetime(value):
     if value.endswith('Z'):
       value = value[:-1] + '+00:00'
     return datetime.fromisoformat(value)
   
   def get_access_token():
     body = json.dumps({
       'grant_type': 'client_credentials',
       'client_id': NETAPP_CLIENT_ID,
       'client_secret': NETAPP_CLIENT_SECRET,
       'audience': AUDIENCE,
     }).encode('utf-8')
   
     response = http.request(
       'POST', TOKEN_URL,
       body=body,
       headers={'Content-Type': 'application/json'}
     )
   
     if response.status != 200:
       raise Exception(
         f"Token request failed: {response.status} - "
         f"{response.data.decode('utf-8')}"
       )
   
     data = json.loads(response.data.decode('utf-8'))
     token = data.get('access_token')
     if not token:
       raise Exception('No access_token in token response')
   
     print('Successfully obtained NetApp Console access token')
     return token
   
   @functions_framework.cloud_event
   def main(cloud_event):
     if not all([GCS_BUCKET, NETAPP_CLIENT_ID, NETAPP_CLIENT_SECRET, NETAPP_ACCOUNT_ID]):
       print('Error: Missing required environment variables')
       return
   
     try:
       bucket = storage_client.bucket(GCS_BUCKET)
       state = load_state(bucket)
       now = datetime.now(timezone.utc)
   
       if isinstance(state, dict) and state.get('last_event_time'):
         try:
           last_val = state['last_event_time']
           if last_val.endswith('Z'):
             last_val = last_val[:-1] + '+00:00'
           last_time = datetime.fromisoformat(last_val)
           last_time = last_time - timedelta(minutes=2)
         except Exception as e:
           print(f'Warning: Could not parse last_event_time: {e}')
           last_time = now - timedelta(hours=LOOKBACK_HOURS)
       else:
         last_time = now - timedelta(hours=LOOKBACK_HOURS)
   
       print(f'Fetching audit logs from {last_time.isoformat()} to {now.isoformat()}')
   
       token = get_access_token()
   
       records, newest_time = fetch_audit_logs(token, last_time, now)
   
       if not records:
         print('No new audit records found.')
         save_state(bucket, now.isoformat())
         return
   
       timestamp = now.strftime('%Y%m%d_%H%M%S')
       object_key = f'{GCS_PREFIX}/netapp_bluexp_audit_{timestamp}.ndjson'
       blob = bucket.blob(object_key)
   
       ndjson = '\n'.join(
         [json.dumps(r, ensure_ascii=False, default=str) for r in records]
       ) + '\n'
       blob.upload_from_string(ndjson, content_type='application/x-ndjson')
   
       print(f'Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}')
   
       save_state(bucket, newest_time if newest_time else now.isoformat())
   
       print(f'Successfully processed {len(records)} audit records')
   
     except Exception as e:
       print(f'Error processing audit logs: {str(e)}')
       raise
   
   def fetch_audit_logs(token, start_time, end_time):
     endpoint = f'{API_BASE}/audit/{NETAPP_ACCOUNT_ID}'
   
     headers = {
       'Authorization': f'Bearer {token}',
       'Accept': 'application/json',
       'User-Agent': 'GoogleSecOps-NetAppBlueXPCollector/1.0',
     }
   
     start_millis = to_unix_millis(start_time)
     end_millis = to_unix_millis(end_time)
   
     records = []
     newest_time = None
     offset = 0
     page_num = 0
     backoff = 1.0
   
     while True:
       page_num += 1
   
       if len(records) >= MAX_RECORDS:
         print(f'Reached max_records limit ({MAX_RECORDS})')
         break
   
       url = (
         f'{endpoint}'
         f'?fromLastModified={start_millis}'
         f'&toLastModified={end_millis}'
         f'&offset={offset}'
       )
   
       try:
         response = http.request('GET', url, headers=headers)
   
         if response.status == 429:
           retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
           print(f'Rate limited (429). Retrying after {retry_after}s...')
           time.sleep(retry_after)
           backoff = min(backoff * 2, 30.0)
           continue
   
         backoff = 1.0
   
         if response.status != 200:
           print(f'HTTP Error: {response.status}')
           response_text = response.data.decode('utf-8')
           print(f'Response body: {response_text}')
           return [], None
   
         data = json.loads(response.data.decode('utf-8'))
   
         page_results = data.get('auditEntries', [])
   
         if not page_results:
           print('No more results (empty page)')
           break
   
         print(f'Page {page_num}: Retrieved {len(page_results)} audit records')
         records.extend(page_results)
   
         for entry in page_results:
           try:
             last_modified = entry.get('lastModified')
             if last_modified:
               entry_dt = datetime.fromtimestamp(
                 last_modified / 1000, tz=timezone.utc
               )
               entry_time = entry_dt.isoformat()
               if newest_time is None or parse_datetime(entry_time) > parse_datetime(newest_time):
                 newest_time = entry_time
           except Exception as e:
             print(f'Warning: Could not parse entry time: {e}')
   
         count = data.get('count', len(page_results))
         if count < 100:
           print(f'Reached last page (count={count})')
           break
   
         offset += count
   
       except Exception as e:
         print(f'Error fetching audit logs: {e}')
         return [], None
   
     print(f'Retrieved {len(records)} total audit records from {page_num} pages')
     return records, newest_time
   
   def load_state(bucket):
     try:
       blob = bucket.blob(STATE_KEY)
       if blob.exists():
         return json.loads(blob.download_as_text())
     except Exception as e:
       print(f'Warning: Could not load state: {e}')
     return {}
   
   def save_state(bucket, last_event_time_iso):
     try:
       state = {
         'last_event_time': last_event_time_iso,
         'last_run': datetime.now(timezone.utc).isoformat(),
       }
       blob = bucket.blob(STATE_KEY)
       blob.upload_from_string(
         json.dumps(state, indent=2),
         content_type='application/json'
       )
       print(f'Saved state: last_event_time={last_event_time_iso}')
     except Exception as e:
       print(f'Warning: Could not save state: {e}')
   

   • requirements.txt:

   functions-framework==3.*
   google-cloud-storage==2.*
   urllib3>=2.0.0
   

3. 点击部署以保存并部署该函数。

4. 等待部署完成（2-3 分钟）。

   注意： Pub/Sub 触发器配置会自动创建必要的订阅和权限。

创建 Cloud Scheduler 作业

Cloud Scheduler 会定期向 Pub/Sub 主题发布消息，从而触发 Cloud Run 函数。

1. 在 GCP Console 中，前往 Cloud Scheduler。
2. 点击创建作业。

3. 提供以下配置详细信息：

   设置	值
   名称	netapp-bluexp-collector-hourly
   区域	选择与 Cloud Run 函数相同的区域
   频率	0 * * * *（每小时一次，整点时）
   时区	选择时区（建议选择世界协调时间 [UTC]）
   目标类型	Pub/Sub
   主题	选择netapp-bluexp-audit-trigger
   消息正文	{}（空 JSON 对象）

4. 点击创建。

时间表频率选项

根据日志量和延迟时间要求选择频次：

频率	Cron 表达式	使用场景
每隔 5 分钟	*/5 * * * *	大批量、低延迟
每隔 15 分钟	*/15 * * * *	搜索量中等
每小时	0 * * * *	标准（推荐）
每 6 小时	0 */6 * * *	低成交量、批处理
每天	0 0 * * *	历史数据收集

测试集成

1. 在 Cloud Scheduler 控制台中，找到您的作业 (netapp-bluexp-collector-hourly)。
2. 点击强制运行以手动触发作业。
3. 等待几秒钟。
4. 前往 Cloud Run > 服务。
5. 点击 netapp-bluexp-collector。
6. 点击日志标签页。

7. 验证函数是否已成功执行。请查找以下内容：

   Fetching audit logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00
   Successfully obtained NetApp Console access token
   Page 1: Retrieved X audit records
   Wrote X records to gs://netapp-bluexp-audit-logs/netapp-bluexp-audit/netapp_bluexp_audit_YYYYMMDD_HHMMSS.ndjson
   Successfully processed X audit records
   

8. 前往 Cloud Storage > 存储分区。

9. 点击 netapp-bluexp-audit-logs。

10. 转到 netapp-bluexp-audit/ 文件夹。

11. 验证是否已创建具有当前时间戳的新 .ndjson 文件。

如果您在日志中看到错误，请执行以下操作：

• HTTP 401：验证 NETAPP_CLIENT_ID 和 NETAPP_CLIENT_SECRET 环境变量是否正确
• HTTP 403：验证服务账号是否在 NetApp 控制台中具有 Organization viewer 角色
• HTTP 429：速率限制 - 函数将自动重试，并采用指数退避算法
• 缺少环境变量：验证是否已在 Cloud Run 函数配置中设置所有必需的变量

检索 Google SecOps 服务账号

1. 依次前往 SIEM 设置 > Feed。
2. 点击添加新 Feed。
3. 点击配置单个 Feed。
4. 在 Feed 名称字段中，输入 Feed 的名称（例如 NetApp Console Audit Logs）。
5. 选择 Google Cloud Storage V2 作为来源类型。
6. 选择 NetApp 控制台（以前称为 BlueXP）作为日志类型。

7. 点击获取服务账号。系统会显示一个唯一的服务账号电子邮件地址，例如：

   [e-mail]
   

8. 复制此电子邮件地址，以便在下一步中使用。

   注意： 每个 Google SecOps 实例都有一个唯一的服务账号。请勿使用其他文档或示例中的服务账号。

9. 点击下一步。

10. 为以下输入参数指定值：

    • 存储桶网址：输入带有前缀路径的 GCS 存储桶 URI：

      gs://netapp-bluexp-audit-logs/netapp-bluexp-audit/
      

    注意： 请务必在 URI 末尾添加尾随斜杠 (/)。

    • 来源删除选项：根据您的偏好选择删除选项：

      • 永不：转移后永不删除任何文件（建议用于测试）。
      • 删除已转移的文件：在成功转移后删除文件。

      • 删除已转移的文件和空目录：成功转移后删除文件和空目录。

        注意 ：如果您选择删除选项，服务账号必须具有 Storage Object Admin 角色，而不是 Storage Object Viewer 角色。相应地更新 IAM 权限。

    • 文件存在时间上限：包含在过去指定天数内修改的文件（默认值为 180 天）

    • 资产命名空间：资产命名空间

    • 注入标签：要应用于此 Feed 中事件的标签

11. 点击下一步。

12. 在最终确定界面中查看新的 Feed 配置，然后点击提交。

向 Google SecOps 服务账号授予 IAM 权限

1. 前往 Cloud Storage > 存储分区。
2. 点击 netapp-bluexp-audit-logs。
3. 前往权限标签页。
4. 点击授予访问权限。
5. 提供以下配置详细信息：
   • 添加主账号：粘贴 Google SecOps 服务账号电子邮件地址
   • 分配角色：选择 Storage Object Viewer

6. 点击保存。

   注意： 如果您打算使用“删除已转移的文件”或“删除已转移的文件和空目录”删除选项，请授予存储对象管理员角色，而不是存储对象查看者角色。

UDM 映射表

日志字段	UDM 映射	逻辑
endTime	additional.fields	如果非空，则与每个来源的标签合并
responseData	additional.fields
weHash	additional.fields
wePublicId	additional.fields
hasFailedRecord	additional.fields
操作	additional.fields
服务	additional.fields
hasRecords	additional.fields
workspaceId	additional.fields
lastModified	additional.fields
startTime	additional.fields
agentName	metadata.event_type	如果 agentName 不为空，则设置为 STATUS_UPDATE；否则设置为 GENERIC_EVENT
agentId	metadata.product_deployment_id	如果值不为空，则直接复制
requestId	metadata.product_log_id	如果值不为空，则直接复制
网络	网络	如果非空，则直接重命名
agentName	principal.asset.hostname	如果值不为空，则直接复制
fileName	principal.file.names	如果不为空，则合并
agentName	principal.hostname	如果值不为空，则直接复制
accountId	principal.resource.id	如果值不为空，则直接复制
resourceName	principal.resource.name	如果值不为空，则直接复制
accountId	principal.resource.product_object_id	如果 accountId 不为空，则使用 accountId 中的值；否则，如果 resourceId 不为空，则使用 resourceId 中的值
resourceId	principal.resource.product_object_id
principalId	principal.user.userid	如果值不为空，则直接复制
状态	security_result.action	如果状态为“SUCCESS”（不区分大小写），则设置为“ALLOW”；如果状态为“FAILURE”或“UNSUCCESSFUL_ATTEMPT”，则设置为“BLOCK”
状态	security_result.action_details	如果值不为空，则直接复制
目标	目标	如果非空，则直接重命名

更新日志

查看相应解析器的更改日志

需要更多帮助？获得社区成员和 Google SecOps 专业人士的解答。