Obiettivi
Questo tutorial illustra i seguenti passaggi utilizzando il proxy locale PGAdapter di Spanner per i driver PostgreSQL:
- Crea un'istanza e un database Spanner.
- Scrivere, leggere ed eseguire query SQL sui dati nel database.
- Aggiorna lo schema del database.
- Aggiorna i dati utilizzando una transazione di lettura/scrittura.
- Aggiungi un indice secondario al database.
- Utilizza l'indice per leggere ed eseguire query SQL sui dati.
- Recupera i dati utilizzando una transazione di sola lettura.
Costi
Questo tutorial utilizza Spanner, che è un componente fatturabile di Google Cloud. Per informazioni sul costo dell'utilizzo di Spanner, consulta Prezzi.
Prima di iniziare
Completa i passaggi descritti in Configurazione, che riguardano la creazione e l'impostazione di un progetto Google Cloud predefinito, l'abilitazione della fatturazione, l'abilitazione dell'API Cloud Spanner e la configurazione di OAuth 2.0 per ottenere le credenziali di autenticazione per utilizzare l'API Cloud Spanner.
In particolare, assicurati di eseguire gcloud auth
application-default login per configurare l'ambiente di sviluppo locale con le credenziali di autenticazione.
Prepara l'ambiente PGAdapter locale
Puoi utilizzare i driver PostgreSQL in combinazione con PGAdapter per connetterti a Spanner. PGAdapter è un proxy locale che traduce il protocollo di rete PostgreSQL nel protocollo gRPC di Spanner.
Per l'esecuzione di PGAdapter è necessario Java o Docker.
Se non l'hai ancora fatto, installa uno dei seguenti elementi sulla tua macchina di sviluppo:
Clona il repository dell'app di esempio sulla tua macchina locale:
git clone https://github.com/GoogleCloudPlatform/pgadapter.gitPassa alla directory che contiene il codice campione di Spanner:
psql
cd pgadapter/samples/snippets/psql-snippetsJava
cd pgadapter/samples/snippets/java-snippets mvn package -DskipTestsVai
cd pgadapter/samples/snippets/golang-snippetsNode.js
cd pgadapter/samples/snippets/nodejs-snippets npm installPython
cd pgadapter/samples/snippets/python-snippets python -m venv ./venv pip install -r requirements.txt cd samplesC#
cd pgadapter/samples/snippets/dotnet-snippetsPHP
cd pgadapter/samples/snippets/php-snippets composer install cd samples
Crea un'istanza
Quando utilizzi Spanner per la prima volta, devi creare un'istanza, ovvero un'allocazione di risorse utilizzate dai database Spanner. Quando crei un'istanza, scegli una configurazione dell'istanza, che determina dove vengono archiviati i dati, nonché il numero di nodi da utilizzare, che determina la quantità di risorse di gestione e archiviazione nell'istanza.
Consulta Crea un'istanza per scoprire come creare un'istanza Spanner utilizzando uno dei seguenti metodi. Puoi assegnare all'istanza il nome test-instance per utilizzarla con altri argomenti di questo documento che fanno riferimento a un'istanza denominata test-instance.
- Google Cloud CLI
- La console Google Cloud
- Una libreria client (C++, C#, Go, Java, Node.js, PHP, Python, Ruby o Rust)
Esamina i file di esempio
Il repository degli esempi contiene un esempio che mostra come utilizzare Spanner con PGAdapter.
Esamina la cartellasamples/snippets, che mostra come utilizzare Spanner. Il codice mostra come creare e utilizzare un nuovo database. I dati utilizzano lo schema di esempio mostrato nella pagina Schema e modello dei dati.
Avvia PGAdapter
Avvia PGAdapter sulla tua macchina di sviluppo locale e indirizzalo all'istanza che hai creato.
I seguenti comandi presuppongono che tu abbia eseguito
gcloud auth application-default login.
Applicazione Java
wget https://storage.googleapis.com/pgadapter-jar-releases/pgadapter.tar.gz \
&& tar -xzvf pgadapter.tar.gz
java -jar pgadapter.jar -i test-instance
Docker
docker pull gcr.io/cloud-spanner-pg-adapter/pgadapter
docker run \
--name pgadapter \
--rm -d -p 5432:5432 \
-v "$HOME/.config/gcloud":/gcloud:ro \
--env CLOUDSDK_CONFIG=/gcloud \
gcr.io/cloud-spanner-pg-adapter/pgadapter \
-i test-instance -x
Emulatore
docker pull gcr.io/cloud-spanner-pg-adapter/pgadapter-emulator
docker run \
--name pgadapter-emulator \
--rm -d \
-p 5432:5432 \
-p 9010:9010 \
-p 9020:9020 \
gcr.io/cloud-spanner-pg-adapter/pgadapter-emulator
In questo modo PGAdapter viene avviato con un emulatore Spanner incorporato. Questo emulatore incorporato crea automaticamente qualsiasi istanza o database Spanner a cui ti connetti, senza doverli creare manualmente in anticipo.
Ti consigliamo di eseguire PGAdapter in produzione come container sidecar o come dipendenza in-process. Per saperne di più sul deployment di PGAdapter in produzione, consulta Scegli un metodo per eseguire PGAdapter.
Crea un database
gcloud spanner databases create example-db --instance=test-instance \
--database-dialect=POSTGRESQL
Dovresti vedere:
Creating database...done.
Crea tabelle
Il codice seguente crea due tabelle nel database.
psql
Java
Vai
Node.js
Python
C#
PHP
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./create_tables.sh example-db
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar createtables example-db
Vai
go run sample_runner.go createtables example-db
Node.js
npm start createtables example-db
Python
python create_tables.py example-db
C#
dotnet run createtables example-db
PHP
php create_tables.php example-db
Il passaggio successivo consiste nello scrivere i dati nel database.
Crea una connessione
Prima di poter eseguire operazioni di lettura o scrittura, devi creare una connessione a PGAdapter. Tutte le tue interazioni con Spanner devono passare attraverso unConnection. Il nome del database è specificato nella stringa di connessione.
psql
Java
Vai
Node.js
Python
C#
PHP
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./create_connection.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar createconnection example-db
Vai
go run sample_runner.go createconnection example-db
Node.js
npm start createconnection example-db
Python
python create_connection.py example-db
C#
dotnet run createconnection example-db
PHP
php create_connection.php example-db
Scrivi dati con DML
Puoi inserire dati utilizzando il Data Manipulation Language (DML) in una transazione di lettura/scrittura.
Questi esempi mostrano come eseguire un'istruzione DML su Spanner utilizzando un driver PostgreSQL.
psql
Java
Vai
Node.js
Python
C#
PHP
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./write_data_with_dml.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar writeusingdml example-db
Vai
go run sample_runner.go writeusingdml example-db
Node.js
npm start writeusingdml example-db
Python
python write_data_with_dml.py example-db
C#
dotnet run writeusingdml example-db
PHP
php write_data_with_dml.php example-db
Dovresti vedere la seguente risposta:
4 records inserted.
Scrivi i dati con un batch DML
PGAdapter supporta l'esecuzione di batch DML. L'invio di più istruzioni DML in un unico batch riduce il numero di round trip a Spanner e migliora le prestazioni dell'applicazione.
psql
Java
Vai
Node.js
Python
C#
PHP
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./write_data_with_dml_batch.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar writeusingdmlbatch example-db
Vai
go run sample_runner.go writeusingdmlbatch example-db
Node.js
npm start writeusingdmlbatch example-db
Python
python write_data_with_dml_batch.py example-db
C#
dotnet run writeusingdmlbatch example-db
PHP
php write_data_with_dml_batch.php example-db
Dovresti vedere:
3 records inserted.
Scrivi dati con mutazioni
Puoi anche inserire dati utilizzando le mutazioni.
PGAdapter traduce il comando COPY di PostgreSQL in mutazioni. L'utilizzo di COPY è il modo più efficiente per inserire rapidamente i dati nel database Spanner.
Le operazioni COPY sono atomiche per impostazione predefinita. Le operazioni atomiche su Spanner sono vincolate dal limite di dimensioni del commit. Per saperne di più, consulta Limiti per la creazione, la lettura, l'aggiornamento e l'eliminazione dei dati.
Questi esempi mostrano come eseguire un'operazione COPY non atomica. In questo modo, l'operazione COPY può superare il limite di dimensioni del commit.
psql
Java
Vai
Node.js
Python
C#
PHP
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./write_data_with_copy.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar write example-db
Vai
go run sample_runner.go write example-db
Node.js
npm start write example-db
Python
python write_data_with_copy.py example-db
C#
dotnet run write example-db
PHP
php write_data_with_copy.php example-db
Dovresti vedere:
Copied 5 singers
Copied 5 albums
Esegui query sui dati utilizzando SQL
Spanner supporta un'interfaccia SQL per la lettura dei dati, a cui puoi accedere dalla riga di comando utilizzando Google Cloud CLI o in modo programmatico utilizzando un driver PostgreSQL.
Nella riga di comando
Esegui la seguente istruzione SQL per leggere i valori di tutte le colonne della tabella Albums:
gcloud spanner databases execute-sql example-db --instance=test-instance \
--sql='SELECT singer_id, album_id, album_title FROM albums'
Il risultato mostra:
SingerId AlbumId AlbumTitle
1 1 Total Junk
1 2 Go, Go, Go
2 1 Green
2 2 Forever Hold Your Peace
2 3 Terrified
Utilizza un driver PostgreSQL
Oltre a eseguire un'istruzione SQL dalla riga di comando, puoi eseguire la stessa istruzione SQL in modo programmatico utilizzando un driver PostgreSQL.
psql
Java
Vai
Node.js
Python
C#
PHP
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./query_data.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar query example-db
Vai
go run sample_runner.go query example-db
Node.js
npm start query example-db
Python
python query_data.py example-db
C#
dotnet run query example-db
PHP
php query_data.php example-db
Dovresti vedere il seguente risultato:
1 1 Total Junk
1 2 Go, Go, Go
2 1 Green
2 2 Forever Hold Your Peace
2 3 Terrified
Esegui una query utilizzando un parametro SQL
Se la tua applicazione ha una query eseguita di frequente, puoi migliorarne le prestazioni parametrizzandola. La query parametrica risultante può essere memorizzata nella cache e riutilizzata, riducendo i costi di compilazione. Per saperne di più, consulta Utilizza parametri di ricerca per velocizzare le query eseguite di frequente.
Ecco un esempio di utilizzo di un parametro nella clausola WHERE per eseguire query sui record contenenti un valore specifico per LastName.
psql
Java
Vai
Node.js
Python
C#
PHP
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./query_data_with_parameter.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar querywithparameter example-db
Vai
go run sample_runner.go querywithparameter example-db
Node.js
npm start querywithparameter example-db
Python
python query_data_with_parameter.py example-db
C#
dotnet run querywithparameter example-db
PHP
php query_data_with_parameter.php example-db
Dovresti vedere il seguente risultato:
12 Melissa Garcia
Aggiorna lo schema del database
Supponiamo che tu debba aggiungere una nuova colonna denominata MarketingBudget alla tabella Albums. L'aggiunta di una nuova colonna a una tabella esistente richiede un aggiornamento dello schema del database. Spanner supporta gli aggiornamenti dello schema di un database mentre il database continua a gestire il traffico. Gli aggiornamenti dello schema non richiedono la disconnessione del database e non bloccano intere tabelle o colonne. Puoi continuare a scrivere dati nel database durante l'aggiornamento dello schema. Scopri di più sugli aggiornamenti dello schema supportati e sulle prestazioni delle modifiche allo schema in Esegui aggiornamenti dello schema.
Aggiungi una colonna
Puoi aggiungere una colonna dalla riga di comando utilizzando Google Cloud CLI o in modo programmatico utilizzando un driver PostgreSQL.
Nella riga di comando
Utilizza il seguente comando ALTER TABLE per aggiungere la nuova colonna alla tabella:
gcloud spanner databases ddl update example-db --instance=test-instance \
--ddl='ALTER TABLE albums ADD COLUMN marketing_budget BIGINT'
Dovresti vedere:
Schema updating...done.
Utilizza un driver PostgreSQL
Esegui l'istruzione DDL utilizzando un driver PostgreSQL per modificare lo schema:
psql
Java
Vai
Node.js
Python
C#
PHP
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./add_column.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar addmarketingbudget example-db
Vai
go run sample_runner.go addmarketingbudget example-db
Node.js
npm start addmarketingbudget example-db
Python
python add_column.py example-db
C#
dotnet run addmarketingbudget example-db
PHP
php add_column.php example-db
Dovresti vedere:
Added marketing_budget column
Esegui un batch DDL
Ti consigliamo di eseguire più modifiche allo schema in un unico batch. Puoi eseguire più istruzioni DDL in un unico batch utilizzando la funzionalità di batch integrata del driver PostgreSQL, inviando tutte le istruzioni DDL come un'unica stringa SQL separata da punti e virgola o utilizzando le istruzioni START BATCH DDL e RUN BATCH.
psql
Java
Vai
Node.js
Python
C#
PHP
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./ddl_batch.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar ddlbatch example-db
Vai
go run sample_runner.go ddlbatch example-db
Node.js
npm start ddlbatch example-db
Python
python ddl_batch.py example-db
C#
dotnet run ddlbatch example-db
PHP
php ddl_batch.php example-db
Dovresti vedere:
Added venues and concerts tables
Scrivi i dati nella nuova colonna
Il codice seguente scrive i dati nella nuova colonna. Imposta MarketingBudget su 100000 per la riga con chiave di riga Albums(1, 1) e su 500000 per la riga con chiave di riga Albums(2, 2).
COPY di PostgreSQL in mutazioni. I comandi COPY vengono tradotti per impostazione predefinita in mutazioni Insert.
Esegui set spanner.copy_upsert=true per tradurre i comandi COPY in mutazioni InsertOrUpdate. Può essere utilizzato per aggiornare i dati esistenti in Spanner.
psql
Java
Vai
Node.js
Python
C#
PHP
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./update_data_with_copy.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar update example-db
Vai
go run sample_runner.go update example-db
Node.js
npm start update example-db
Python
python update_data_with_copy.py example-db
C#
dotnet run update example-db
PHP
php update_data_with_copy.php example-db
Dovresti vedere:
Updated 2 albums
Puoi anche eseguire una query SQL per recuperare i valori appena scritti.
Ecco il codice per eseguire la query:
psql
Java
Vai
Node.js
Python
C#
PHP
Esegui la query con questo comando:
psql
PGDATABASE=example-db ./query_data_with_new_column.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar querymarketingbudget example-db
Vai
go run sample_runner.go querymarketingbudget example-db
Node.js
npm start querymarketingbudget example-db
Python
python query_data_with_new_column.py example-db
C#
dotnet run querymarketingbudget example-db
PHP
php query_data_with_new_column.php example-db
Dovresti vedere:
1 1 100000
1 2 null
2 1 null
2 2 500000
2 3 null
Aggiorna i dati
Puoi aggiornare i dati utilizzando DML in una transazione di lettura/scrittura.
psql
Java
Vai
Node.js
Python
C#
PHP
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./update_data_with_transaction.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar writewithtransactionusingdml example-db
Vai
go run sample_runner.go writewithtransactionusingdml example-db
Node.js
npm start writewithtransactionusingdml example-db
Python
python update_data_with_transaction.py example-db
C#
dotnet run writewithtransactionusingdml example-db
PHP
php update_data_with_transaction.php example-db
Dovresti vedere:
Transferred marketing budget from Album 2 to Album 1
Tag di transazione e tag di richiesta
Utilizza i tag di transazione e i tag di richiesta per risolvere i problemi relativi a transazioni e query in Spanner. Puoi impostare
tag di transazione e tag di richiesta con le variabili di sessione SPANNER.TRANSACTION_TAG e
SPANNER.STATEMENT_TAG.
psql
Java
Vai
Node.js
Python
C#
PHP
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./tags.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar tags example-db
Vai
go run sample_runner.go tags example-db
Node.js
npm start tags example-db
Python
python tags.py example-db
C#
dotnet run tags example-db
PHP
php tags.php example-db
Recupera i dati utilizzando transazioni di sola lettura
Supponiamo che tu voglia eseguire più di una lettura con lo stesso timestamp. Le transazioni di sola lettura osservano un prefisso coerente della cronologia dei commit delle transazioni, in modo che l'applicazione riceva sempre dati coerenti.
Imposta la connessione in sola lettura o utilizza l'istruzione SQL SET TRANSACTION READ ONLY per eseguire una transazione di sola lettura.
Di seguito viene mostrato come eseguire una query ed eseguire una lettura nella stessa transazione di sola lettura:
psql
Java
Vai
Node.js
Python
C#
PHP
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./read_only_transaction.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar readonlytransaction example-db
Vai
go run sample_runner.go readonlytransaction example-db
Node.js
npm start readonlytransaction example-db
Python
python read_only_transaction.py example-db
C#
dotnet run readonlytransaction example-db
PHP
php read_only_transaction.php example-db
Dovresti visualizzare un output simile al seguente:
1 1 Total Junk
1 2 Go, Go, Go
2 1 Green
2 2 Forever Hold Your Peace
2 3 Terrified
2 2 Forever Hold Your Peace
1 2 Go, Go, Go
2 1 Green
2 3 Terrified
1 1 Total Junk
Query partizionate e Data Boost
L'API partitionQuery divide una query in parti più piccole, o partizioni, e utilizza più macchine per recuperare le partizioni in parallelo. Ogni partizione è identificata da un token di partizione. L'API PartitionQuery ha una latenza maggiore rispetto all'API di query standard, perché è destinata solo a operazioni collettive come l'esportazione o la scansione dell'intero database.
Data Boost consente di eseguire query di analisi ed esportazioni di dati con un impatto quasi nullo sui workload esistenti nell'istanza Spanner di cui è stato eseguito il provisioning. Data Boost supporta solo le query partizionate.
psql
Java
Vai
Node.js
Python
C#
PHP
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./data_boost.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar databoost example-db
Vai
go run sample_runner.go databoost example-db
Node.js
npm start databoost example-db
Python
python data_boost.py example-db
C#
dotnet run databoost example-db
PHP
php data_boost.php example-db
Per saperne di più sull'esecuzione di query partizionate e sull'utilizzo di Data Boost con PGAdapter, consulta: Data Boost e istruzioni di query partizionate
DML partizionato
Il Data Manipulation Language (DML) partizionato è progettato per i seguenti tipi di aggiornamenti ed eliminazioni collettivi:
- Pulizia periodica e garbage collection.
- Backfill delle nuove colonne con valori predefiniti.
psql
Java
Vai
Node.js
Python
C#
PHP
Esegui l'esempio con questo comando:
psql
PGDATABASE=example-db ./partitioned_dml.sh
Java
java -jar target/pgadapter-snippets/pgadapter-samples.jar partitioneddml example-db
Vai
go run sample_runner.go partitioneddml example-db
Node.js
npm start partitioneddml example-db
Python
python partitioned_dml.py example-db
C#
dotnet run datpartitioneddmlboost example-db
PHP
php partitioned_dml.php example-db
Esegui la pulizia
Per evitare che al tuo account di fatturazione Cloud vengano addebitati costi aggiuntivi per le risorse utilizzate in questo tutorial, elimina il database e l'istanza che hai creato.
Elimina il database
Se elimini un'istanza, tutti i database al suo interno vengono eliminati automaticamente. Questo passaggio mostra come eliminare un database senza eliminare un'istanza (ti verranno comunque addebitati i costi per l'istanza).
Nella riga di comando
gcloud spanner databases delete example-db --instance=test-instance
Utilizzo della console Google Cloud
Vai alla pagina Istanze Spanner nella console Google Cloud .
Fai clic sull'istanza.
Fai clic sul database che vuoi eliminare.
Nella pagina Dettagli database, fai clic su Elimina.
Conferma di voler eliminare il database e fai clic su Elimina.
Elimina l'istanza
L'eliminazione di un'istanza comporta l'eliminazione automatica di tutti i database creati in quell'istanza.
Nella riga di comando
gcloud spanner instances delete test-instance
Utilizzo della console Google Cloud
Vai alla pagina Istanze Spanner nella console Google Cloud .
Fai clic sull'istanza.
Fai clic su Elimina.
Conferma di voler eliminare l'istanza e fai clic su Elimina.
Passaggi successivi
Scopri come accedere a Spanner con un'istanza di macchina virtuale.
Scopri di più sulle credenziali di autorizzazione e autenticazione in Autenticati ai servizi Cloud utilizzando le librerie client.
Scopri di più sulle best practice per la progettazione dello schema di Spanner.