In questa pagina viene spiegato come visualizzare i log di monitoraggio associati ai tuoi cluster Ray e monitorare le metriche di Ray su Agent Platform. Vengono inoltre fornite indicazioni per il debug dei cluster Ray.
Visualizza i log
Quando esegui attività con il tuo cluster Ray su Gemini Enterprise Agent Platform, i log di monitoraggio vengono generati e archiviati automaticamente sia in Cloud Logging sia nella dashboard Ray open source. Questa sezione descrive come accedere ai log generati tramite la console Google Cloud .
Prima di iniziare, assicurati di leggere la panoramica di Ray on Agent Platform e di configurare tutti gli strumenti prerequisiti di cui hai bisogno.Dashboard Ray OSS
Puoi visualizzare i file di log di Ray open source tramite la dashboard Ray OSS:
Nella console Google Cloud , vai alla pagina Ray on Agent Platform.
Nella riga del cluster che hai creato, seleziona il menu Altre azioni.
Seleziona il link alla dashboard Ray OSS. La dashboard si apre in un'altra scheda.
Vai alla visualizzazione Log nell'angolo in alto a destra del menu:

Fai clic su ciascun nodo per visualizzare i file di log associati.
Console di Cloud Logging
-
Nella console Google Cloud , vai alla pagina Esplora log:
Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.
Seleziona un progetto, una cartella o un'organizzazione Google Cloud esistente.
Per visualizzare tutti i log di Ray, inserisci la seguente query nel campo dell'editor di query, quindi fai clic su Esegui query:
resource.labels.task_name="ray-cluster-logs"
Per restringere i log a un cluster Ray specifico, aggiungi la riga seguente alla query e poi fai clic su Esegui query:
labels."ml.googleapis.com/ray_cluster_id"=CLUSTER_NAME
Sostituisci CLUSTER_NAME con il nome del tuo cluster Ray. Nella console Google Cloud vai a Gemini Enterprise Agent Platform > Ray on Agent Platform, dove vedrai un elenco di nomi di cluster in ogni regione.
Per restringere ulteriormente i log a un file di log specifico come
raylet.out, fai clic sul nome del log in Campi log -> Nome log.Puoi raggruppare voci di log simili:
In Risultati delle query, fai clic su una voce di log per espandere il log.
Nella
jsonPayload, fai clic sul valoretailed_path. Viene visualizzato un menu a discesa.Fai clic su Mostra voci corrispondenti.
Disattiva log
Per impostazione predefinita, Ray on Vertex AI Cloud Logging è abilitato.
Per disattivare l'esportazione dei log di Ray in Cloud Logging, utilizza il seguente comando dell'SDK Agent Platform per Python:
vertex_ray.create_ray_cluster(..., enable_logging=False, ...)
Puoi visualizzare i file di log di Ray nella dashboard di Ray anche se la funzionalità Cloud Logging di Ray on Agent Platform è disattivata.
Monitora le metriche
Puoi visualizzare le metriche di Ray on Agent Platform in diversi modi utilizzando Google Cloud Monitoring (GCM). In alternativa, puoi esportare le metriche da GCM al tuo server Grafana.
Monitora le metriche in GCM
Esistono due modi per visualizzare le metriche di Ray su Agent Platform in GCM.
- Utilizza la visualizzazione diretta in Esplora metriche.
Importa la dashboard Grafana.
Esplora metriche
Per utilizzare la visualizzazione diretta in Esplora metriche, segui questi passaggi:
- Vai alla console Cloud Monitoring.
- In Esplora, seleziona Esplora metriche.
- In Risorse attive, seleziona Target Prometheus. Viene visualizzato Categorie di metriche attive.
Seleziona Ray.
Viene visualizzato un elenco di metriche:

- Seleziona le metriche che vuoi monitorare. Ad esempio:
- Scegli la percentuale di utilizzo della CPU come metrica monitorata:

- Seleziona un filtro. Ad esempio, seleziona cluster:
Utilizza l'ID cluster per monitorare solo le metriche riportate sopra per un cluster specifico. Per individuare l'ID cluster, segui questi passaggi:
Nella console Google Cloud , vai alla pagina Ray.
- Assicurati di essere nel progetto in cui vuoi creare l'esperimento.

- In Nome viene visualizzato un elenco di ID cluster.
- Seleziona il metodo di aggregazione per visualizzare le metriche. In altre parole, puoi scegliere di visualizzare le metriche non aggregate, che mostrano l'utilizzo della CPU di ogni processo Ray:
- Scegli la percentuale di utilizzo della CPU come metrica monitorata:
GCM GCM
Per importare una dashboard di Grafana per Ray su Agent Platform, segui le linee guida sulla dashboard di Cloud Monitoring, Importa la tua dashboard di Grafana.
Tutto ciò che ti serve è un file JSON della dashboard di Grafana. OSS Ray supporta questa configurazione manuale fornendo il file JSON Grafana della dashboard predefinita.
Monitora le metriche
da Grafana di proprietà dell'utente
Se hai già un server Grafana in esecuzione, puoi anche esportare tutte le metriche di Prometheus del cluster Ray su Gemini Enterprise Agent Platform nel tuo server Grafana esistente. Per farlo, segui le indicazioni per eseguire query utilizzando Grafana di GMP. In questo modo puoi aggiungere una nuova origine dati Grafana al tuo server Grafana esistente e utilizzare il sincronizzatore dell'origine dati per sincronizzare la nuova origine dati Prometheus di Grafana con le metriche di Ray su Agent Platform.
È importante configurare e autenticare l'origine dati Grafana appena aggiunta utilizzando il sincronizzatore dell'origine dati. Segui i passaggi descritti in Configura e autentica l'origine dati Grafana.
Una volta sincronizzati, puoi creare e aggiungere qualsiasi dashboard di cui hai bisogno in base alle metriche di Ray on Agent Platform.
Per impostazione predefinita, le raccolte di metriche di Ray on Agent Platform sono abilitate. Ecco come disattivarle utilizzando l'SDK Agent Platform per Python:
vertex_ray.create_ray_cluster(..., enable_metrics_collection=False, ...)
Esegui il debug dei cluster Ray
Per eseguire il debug dei cluster Ray, utilizza la shell interattiva del nodo head:
Console Google Cloud
Per accedere alla shell interattiva del nodo head, segui questi passaggi:
- Nella console Google Cloud , vai alla pagina Ray on Agent Platform.
Vai a Ray on Agent Platform - Assicurati di trovarti nel progetto corretto.
- Seleziona il cluster da esaminare. Viene visualizzata la sezione Informazioni di base.
- Nella sezione Link di accesso, fai clic sul link Shell interattiva del nodo head. Viene visualizzata la shell interattiva del nodo head.
- Segui le istruzioni descritte in Monitora ed esegui il debug dell'addestramento con una shell interattiva.