Managed Airflow (3ª gen.) | Managed Airflow (2ª gen.) | Managed Airflow (1ª gen. legacy)
In questa pagina viene spiegato come risolvere i problemi relativi ai conflitti di dipendenza durante l'installazione di pacchetti PyPI personalizzati.
Il problema più comune con i pacchetti PyPI che potresti riscontrare in Managed Airflow sono i conflitti di dipendenza.
Quando specifichi un nuovo pacchetto PyPI personalizzato da installare, questo pacchetto o la sua versione potrebbero causare conflitti di dipendenza con altri pacchetti PyPI personalizzati o pacchetti preinstallati nel tuo ambiente. In questo caso, l'operazione di aggiornamento dell'ambiente non va a buon fine e viene restituito un errore.
Errori di build in Cloud Build e nel cluster
Se si verifica un problema con i pacchetti, ricevi il messaggio di errore relativo in due modi, a seconda della modalità di deployment dell'ambiente:
Cloud Build. Un messaggio di errore e un link al log di Cloud Build. Ad esempio:
UPDATE operation on this environment failed 25 minutes ago with the following error message: Failed to install PyPI packages. Check the Cloud Build log at ...Build interne al cluster. Un messaggio di errore e la posizione dei log di build. Ad esempio:
UPDATE operation on this environment failed 17 minutes ago with the following error message: Failed to install PyPI packages. Check the in-cluster build logs for details. They can be found in the Environment logs under the build-log-* log name.
Visualizza il messaggio di errore dettagliato
Quando l'installazione di un pacchetto non riesce, pip segnala il messaggio di errore dettagliato.
Puoi trovare questo messaggio di errore nei log di build.
Individua l'errore pip nei log di Cloud Build
Puoi seguire il link nel messaggio di errore di Cloud Build o individuare i log di build:
Individua i log di build:
Nella console Google Cloud , vai alla pagina Cronologia build.
Seleziona la build non riuscita per visualizzarne i log.
Nel log di build, trova il messaggio di errore di
pip. Ad esempio:ERROR: apache-airflow-backport-providers-google 2021.2.5 has requirement google-cloud-logging<3.0.0,>=2.1.1, but you'll have google-cloud-logging 1.15.0 which is incompatible.
Individua l'errore pip nei log di build nel cluster
Individua i log di build:
Nella console Google Cloud , vai alla pagina Ambienti.
Seleziona l'ambiente.
Apri la scheda Log.
Seleziona Tutti i log > Log di Composer > Build > Immagine worker e scheduler.
Nell'elenco a discesa Gravità, seleziona Informazioni.
Nei log visualizzati:
Individua il messaggio di errore
installer.sh. Ad esempio:The command '/bin/sh -c bash installer.sh $COMPOSER_PYTHON_VERSION fail' returned a non-zero code: 1I messaggi informativi precedenti contengono l'errore
pipdettagliato. Ad esempio:apache-airflow-backport-providers-google 2021.2.5 has requirement google-cloud-logging<3.0.0,>=2.1.1, but you have google-cloud-logging 1.15.0.
Timeout durante l'installazione del pacchetto Python
Nelle versioni recenti, l'utilità pip ha modificato il suo comportamento quando tenta di soddisfare le dipendenze. Se le dipendenze specificate non possono essere soddisfatte, pip esamina
tutte le versioni disponibili di un pacchetto.
Quando installi un pacchetto, si verifica quanto segue:
Se il pacchetto è già preinstallato nel tuo ambiente e le dipendenze Python specificate non richiedono modifiche, il pacchetto rimane invariato.
Esempio:
aiodebug==2.3.0è installato e specifichiaiodebugoaiodebug>=2.Se il pacchetto non è già installato nel tuo ambiente o non soddisfa le dipendenze Python specificate,
piptenta di utilizzare l'ultima versione che soddisfa le dipendenze. Si tratta dell'ultima versione del pacchetto se non hai specificato una versione o dell'ultima versione del pacchetto che soddisfa le limitazioni specificate.Esempio: se specifichi
aiodebug, verrà installata la versione più recente (2.*.*). Se specifichiaiodebug<2, verrà installata la versione 1.*.*.Se questa versione causa conflitti di dipendenza con i pacchetti preinstallati,
pipesamina tutte le versioni disponibili del pacchetto per cercare di soddisfare la dipendenza specificata. In questo caso, nel log di build verranno visualizzati i seguenti messaggi:INFO: pip is looking at multiple versions of PYTHON_PACKAGE_NAME to determine which version is compatible with other requirements. This could take a while.Prima della modifica,
pipnon riusciva a causa di un conflitto di dipendenze senza controllare altre versioni.
L'esame di tutte le versioni disponibili può richiedere molto tempo e portare a un downgrade dei pacchetti o a un timeout durante l'installazione del pacchetto Python.
I pacchetti preinstallati in Managed Airflow vengono aggiornati regolarmente all'ultima versione per motivi di sicurezza. Pertanto, può verificarsi un timeout anche quando esegui l'upgrade di un ambiente a una versione successiva di Managed Airflow.
Possibili soluzioni:
Aggiorna regolarmente le dipendenze Python personalizzate.
Utilizza PythonVirtualenvOperator per isolare gli snippet di codice che richiedono pacchetti in conflitto.
Conflitti con i pacchetti PyPI preinstallati
Alcuni conflitti tra pacchetti si verificano tra i pacchetti PyPI personalizzati che installi e i pacchetti preinstallati.
Puoi visualizzare l'elenco completo dei pacchetti preinstallati per la tua versione di Managed Airflow nella pagina Versioni di Managed Airflow.
Per risolvere il problema, puoi:
Installa una versione diversa del pacchetto PyPI personalizzato.
Installa una versione diversa del pacchetto preinstallato. Per farlo, installa un pacchetto PyPI personalizzato con il nome del pacchetto preinstallato e specifica la versione richiesta. Sconsigliamo di eseguire il downgrade dei pacchetti preinstallati.
Controlla se le versioni di Managed Airflow successive utilizzano una versione diversa del pacchetto preinstallato. Puoi verificare la presenza di potenziali conflitti tra i pacchetti PyPI prima di eseguire l'upgrade dell'ambiente a una versione successiva di Managed Airflow.
Utilizza PythonVirtualenvOperator per isolare gli snippet di codice che richiedono pacchetti in conflitto.
Server dei metadati non disponibile durante l'installazione dei pacchetti PyPI
Se il tuo ambiente utilizza un file pip.conf personalizzato, potresti riscontrare un problema quando non è possibile installare nuovi pacchetti PyPI nel tuo ambiente. Nei log di Cloud Build relativi all'errore di installazione del pacchetto, puoi visualizzare il seguente messaggio di avviso:
WARNING: Compute Engine Metadata server unavailable on attempt 3 of 3. Reason:
timed out
WARNING: Authentication failed using Compute Engine authentication due to
unavailable metadata server.
Questo problema è causato da un file pip.conf che non consente l'accesso all'indice dei pacchetti predefinito in https://pypi.org/simple. Ad esempio, se il file pip.conf consente solo l'installazione di pacchetti da un repository Artifact Registry personalizzato a causa del parametro index-url ridefinito, l'installazione di pacchetti dall'indice dei pacchetti predefinito non è disponibile.
Per risolvere il problema, assicurati che l'indice del pacchetto https://pypi.org/simple sia aggiunto al file pip.conf. Ad esempio, se l'indice del pacchetto principale è definito nel parametro index-url, aggiungi l'indice https://pypi.org/simple nel parametro extra-index-url.