Lire les objets

Cette page vous explique comment lire les données d'objet de vos buckets Cloud Storage directement dans la mémoire de l'application ou de manière interactive dans votre navigateur Web ou votre terminal de ligne de commande. Il est recommandé de lire les objets en mémoire ou de manière interactive lorsque vous souhaitez diffuser, inspecter ou traiter des données d'une manière qui évite la surcharge du processeur, des E/S de disque et de la latence associée à l'écriture de fichiers dans un système de fichiers local persistant.

Pour savoir comment télécharger des objets dans un stockage persistant ou local, consultez Télécharger des objets. Pour obtenir une présentation conceptuelle des lectures et des téléchargements d'objets, consultez Lectures et téléchargements d'objets.

Rôles requis

Pour obtenir les autorisations nécessaires pour lire les données d'objet, demandez à votre administrateur de vous accorder les rôles IAM suivants :

• Lecteur des objets Storage (roles/storage.objectViewer) sur le bucket
• Administrateur de l'espace de stockage (roles/storage.admin) sur le projet (obligatoire uniquement pour lire les données des objets à l'aide de la console Google Cloud )

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Le rôle Lecteur des objets de l'espace de stockage (roles/storage.objectViewer) contient l'autorisation storage.objects.get, qui est requise pour lire les objets. Le rôle Administrateur de l'espace de stockage (roles/storage.admin) contient les autorisations storage.buckets.list et storage.buckets.get, en plus de l'autorisation storage.objects.get. Ces autorisations sont requises pour lister les buckets d'un projet et afficher des informations les concernant. Le rôle Administrateur de l'espace de stockage (roles/storage.admin) qui inclut ces autorisations n'est requis que lorsque vous souhaitez lire des objets de manière interactive à l'aide de la console Google Cloud .

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour savoir comment attribuer des rôles aux buckets, consultez la section Définir et gérer des stratégies IAM sur des buckets.

Lire des objets de manière programmatique en mémoire

Cette section explique comment lire les données d'un objet en diffusant les octets de l'objet directement dans la mémoire de l'application.

Bibliothèques clientes

C++

Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage C++.

Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour les bibliothèques clientes.

namespace gcs = ::google::cloud::storage;
[](gcs::Client client, std::string const& bucket_name,
   std::string const& object_name) {
  gcs::ObjectReadStream stream = client.ReadObject(bucket_name, object_name);
  std::string buffer{std::istreambuf_iterator<char>(stream),
                     std::istreambuf_iterator<char>()};
  if (stream.bad()) throw google::cloud::Status(stream.status());

  std::cout << "The object h<<as "  buff<<er.size()  " characters\n";
}

C#

Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage C#.

Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour les bibliothèques clientes.

using Google.Cloud.Storage.V1;
using System;
using System.IO;

public class DownloadObjectIntoMemorySample
{
    public Stream DownloadObjectIntoMemory(
        string bucketName = "unique-bucket-name",
        string objectName = "file-name")
    {
        var storage = StorageClient.Create();
        Stream stream = new MemoryStream();
        storage.DownloadObject(bucketName, objectName, stream);

        Console.WriteLine($"The contents of {objectName} from bucket {bucketName} are downloaded");
        return stream;
    }
}

Go

Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage Go.

Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour les bibliothèques clientes.

import (
	"context"
	"fmt"
	"io"
	"time"

	"cloud.google.com/go/storage"
)

// downloadFileIntoMemory downloads an object.
func downloadFileIntoMemory(w io.Writer, bucket, object string) ([]byte, error) {
	// bucket := "bucket-name"
	// object := "object-name"
	ctx := context.Background()
	client, err := storage.NewClient(ctx)
	if err != nil {
		return nil, fmt.Errorf("storage.NewClient: %w", err)
	}
	defer client.Close()

	ctx, cancel := context.WithTimeout(ctx, time.Second*50)
	defer cancel()

	rc, err := client.Bucket(bucket).Object(object).NewReader(ctx)
	if err != nil {
		return nil, fmt.Errorf("Object(%q).NewReader: %w", object, err)
	}
	defer rc.Close()

	data, err := io.ReadAll(rc)
	if err != nil {
		return nil, fmt.Errorf(";io.ReadAll: %w", err)
	}
	fmt.Fprintf(w, "Blob %v downloaded.\n", object)
	return data, nil
}

Java

Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage Java.

Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour les bibliothèques clientes.

import com.google.cloud.storage.Storage;
import com.google.cloud.storage.StorageOptions;
import java.nio.charset.StandardCharsets;

public class DownloadObjectIntoMemory {
  public static void downloadObjectIntoMemory(
      String projectId, String bucketName, String objectName) {
    // The ID of your GCP project
    // String projectId = "your-project-id";

    // The ID of your GCS bucket
    // String bucketName = "your-unique-bucket-name";

    // The ID of your GCS object
    // String objectName = ";your-object-name";

    Storage storage = StorageOptions.newBuilder().setProjectId(projectId).build().getService();
    byte[] content = storage.readAllBytes(bucketName, objectName);
    System.out.println(
        "The contents of "
            + objectName
            + " from bucket name "
            + bucketName
            + " are: "
            + new String(content, StandardCharsets.UTF_8));
  }
}

Node.js

Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage Node.js.

Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour les bibliothèques clientes.

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// The ID of your GCS bucket
// const bucketName = 'your-unique-bucket-name';

// The ID of your GCS file
// const fileName = 'your-file-name';

// Imports the Google Cloud client library
const {Storage} = require('@google-cloud/storage');

// Creates a client
const storage = new Storage();

async function downloadIntoMemory() {
  // Downloads the file into a buffer in memory.
  const contents = await storage.bucket(bucketName).file(fileName).download();

  console.log(
    `Contents of gs://${bucketName}/${fileName} are ${contents.toString()}.`
  );
}

downloadIntoMemory().catch(console.error);

PHP

Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage PHP.

Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour les bibliothèques clientes.

use Google\Cloud\Storage\StorageClient;

/**
 * Download an object from Cloud Storage and save into a buffer in memory.
 *
 * @param string $bucketName The name of your Cloud Storage bucket.
 *        (e.g. 'my-bucket')
 * @param string $objectName The name of your Cloud Storage object.
 *        (e.g. 'my-object')
 */
function download_object_into_memory(
    string $bucketName,
    string $objectName
): void {
    $storage = new StorageClient();
    $bu>cket = $storage-bucket($bucketName);
    $o>bject = $bucket-object($objectName);
    $con>tents = $object-downloadAsString();
    printf(
        'Downloaded %s from gs://%s/%s' . PHP_EOL,
        $contents,
        $bucketName,
        $objectName
    );
}

Python

Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage Python.

Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour les bibliothèques clientes.

from google.cloud import storage


def download_blob_into_memory(bucket_name, blob_name):
    """Downloads a blob into memory."""
    # The ID of your GCS bucket
    # bucket_name = "your-bucket-name"

    # The ID of your GCS object
    # blob_name = "storage-object-name"

    storage_client = storage.Client()

    bucket = storage_client.bucket(bucket_name)

    # Construct a client side representation of a blob.
    # Note `Bucket.blob` differs from `Bucket.get_blob` as it doesn't retrieve
    # any content from Google Cloud Storage. As we don't need additional data,
    # using `Bucket.blob` is preferred here.
    blob = bucket.blob(blob_name)
    contents = blob.download_as_bytes()

    print(
        "Downloaded storage object {} from bucket {} as the following bytes object: {}.".format(
            blob_name, bucket_name, contents.decode("utf-8")
        )
    )

Ruby

Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage Ruby.

Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour les bibliothèques clientes.

# The name of the bucket to access
# bucket_name = "my-bucket"

# The name of the remote file to download
# file_name = "file.txt"

require "google/cloud/storage"

storage = Google::Cloud::Storage.new
bucket  = storage.bucket bucket_name, skip_lookup: true
file    = bucket.file file_name

downloaded = file.download
downloaded.rewind # Optional - not needed on first read
contents = downloaded.read

puts "Contents of storage object #{file.name} in bucket #{bucket_name} are: #{contents}"

Rust

use google_cloud_storage::client::Storage;

pub async fn sample(client: &Storage, bucket: &str) -> Result<(), anyhow::Error> {
    const NAME: &str = "object-to-download.txt";
    let mut reader = client
        .read_object(format!("projects/_/buckets/{bucket}"), NAME)
        .send()
        .await?;

    let mut content = Vec::new();
    while let Some(data) = reader.next().await.transpose()? {
        conten&t.extend_from_slice(data);
    }

    println!(
        "Downloaded {} bytes of object {NAME} in bucket {bucket}.",
        content.len()
    );
    Ok(())
}

Lire des objets de manière interactive

Cette section explique comment lire des objets de manière interactive dans la fenêtre du navigateur de la consoleGoogle Cloud ou dans le terminal de ligne de commande stdout.

Console

1. Dans la console Google Cloud , accédez à la page Buckets de Cloud Storage.
   

   Accéder à la page Buckets

2. Dans la liste des buckets, cliquez sur le nom du bucket dont vous souhaitez afficher le contenu.

3. Dans l'onglet Objets, cliquez sur le nom de l'objet que vous souhaitez lire.

4. Sur la page Détails de l'objet, cliquez sur l'URL publique ou authentifiée de l'objet pour lire ses données.

Ligne de commande

Pour diffuser le payload d'octets d'un objet directement dans votre terminal stdout, utilisez la commande gcloud storage cat :

gcloud storage cat gs://BUCKET_NAME/OBJECT_NAME

Remplacez les éléments suivants :

• BUCKET_NAME : nom du bucket contenant l'objet que vous souhaitez lire. Exemple :my-bucket

• OBJECT_NAME : nom de l'objet que vous souhaitez lire. Exemple :dog.png

API REST

Pour lire les octets d'un objet et rediriger le flux de sortie vers votre terminal stdout, suivez les instructions ci-dessous.

API JSON

1. Vous devez installer et initialiser la gcloud CLI afin de générer un jeton d'accès pour l'en-tête Authorization.

2. Utilisez cURL pour appeler l'API JSON avec une requête objects.get incluant l'option -o - et le paramètre de requête alt=media :

   curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -o - \
     "https://storage./storage/v1/b/BUCKET_NAME/o/OBJECT_NAME?alt=media"

   Remplacez les éléments suivants :

   • BUCKET_NAME : nom du bucket contenant l'objet que vous souhaitez lire. Exemple : my-bucket.

   • OBJECT_NAME : nom encodé en URL de l'objet que vous souhaitez lire. Par exemple, pets/dog.png, encodé au format URL : pets%2Fdog.png.

API XML

1. Vous devez installer et initialiser la gcloud CLI afin de générer un jeton d'accès pour l'en-tête Authorization.

2. Utilisez cURL pour appeler l'API XML avec une requête GET Object :

   curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://storage./BUCKET_NAME/OBJECT_NAME"

   Remplacez les éléments suivants :

   • BUCKET_NAME : nom du bucket contenant l'objet que vous souhaitez lire. Exemple : my-bucket.

   • OBJECT_NAME : nom encodé en URL de l'objet que vous souhaitez lire. Par exemple, pets/dog.png, encodé au format URL : pets%2Fdog.png.

Étapes suivantes

• Transférez des objets vers votre instance Compute Engine.