Detete pontos de referência

A deteção de pontos de referência deteta estruturas naturais e criadas pelo homem populares numa imagem.

Nota: a API Vision suporta agora a anotação de imagens em lote assíncrona offline para todas as funcionalidades. Este pedido assíncrono suporta até 2000 ficheiros de imagem e devolve ficheiros JSON de resposta armazenados no seu contentor do Cloud Storage. Para mais informações sobre esta funcionalidade, consulte o artigo Anotação de imagens em lote offline.

Créditos da imagem: Nikolay Vorobyev no Unsplash (anotações adicionadas).

Pedidos de deteção de pontos de referência

Configure o seu Google Cloud projeto e autenticação

Se não tiver criado um Google Cloud projeto, faça-o agora. Expanda esta secção para ver instruções.

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Verify that billing is enabled for your Google Cloud project.

3. Enable the Vision API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

4. Install the Google Cloud CLI.

5. Configure a CLI gcloud para usar a sua identidade federada.

   Para mais informações, consulte o artigo Inicie sessão na CLI gcloud com a sua identidade federada.

6. Para inicializar a CLI gcloud, execute o seguinte comando:

   gcloud init

   Detete pontos de referência numa imagem local

   Pode usar a API Vision para realizar a deteção de caraterísticas num ficheiro de imagem local.

   Para pedidos REST, envie o conteúdo do ficheiro de imagem como uma string codificada em base64 no corpo do pedido.

   Para pedidos da gcloud e da biblioteca de cliente, especifique o caminho para uma imagem local no seu pedido.

   REST

   Antes de usar qualquer um dos dados do pedido, faça as seguintes substituições:

   • BASE64_ENCODED_IMAGE: a representação base64 (string ASCII) dos dados da imagem binária. Esta string deve ser semelhante à seguinte string:
     • /9j/4QAYRXhpZgAA...9tAVx/zDQDlGxn//2Q==
     Visite o tópico codificação base64 para mais informações.
   • RESULTS_INT: (Opcional) Um valor inteiro de resultados a devolver. Se omitir o campo "maxResults" e o respetivo valor, a API devolve o valor predefinido de 10 resultados. Este campo não se aplica aos seguintes tipos de elementos: TEXT_DETECTION, DOCUMENT_TEXT_DETECTION ou CROP_HINTS.
   • PROJECT_ID: o ID do seu Google Cloud projeto.

   Método HTTP e URL:

   POST https://vision.googleapis.com/v1/images:annotate

   Corpo JSON do pedido:

   {
     "requests": [
       {
         "image": {
           "content": "BASE64_ENCODED_IMAGE"
         },
         "features": [
           {
             "maxResults": RESULTS_INT,
             "type": "LANDMARK_DETECTION"
           },
         ]
       }
     ]
   }
   

   Para enviar o seu pedido, escolha uma destas opções:

   curl

   Nota: O comando seguinte pressupõe que tem sessão iniciada na CLI gcloud com a sua conta de utilizador executando gcloud init ou gcloud auth login, ou usando o Cloud Shell, que inicia automaticamente sessão na CLI gcloud. Pode verificar a conta atualmente ativa executando o comando gcloud auth list.

   Guarde o corpo do pedido num ficheiro com o nome request.json, e execute o seguinte comando:

   curl -X POST \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "x-goog-user-project: PROJECT_ID" \
        -H "Content-Type: application/json; charset=utf-8" \
        -d @request.json \
        "https://vision.googleapis.com/v1/images:annotate"

   PowerShell

   Nota: O comando seguinte pressupõe que iniciou sessão na CLI do Google Ads com a sua conta de utilizador executando gcloud init ou gcloud auth login .gcloud Pode verificar a conta atualmente ativa executando o comando gcloud auth list.

   Guarde o corpo do pedido num ficheiro com o nome request.json, e execute o seguinte comando:

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "PROJECT_ID" }
   
   Invoke-WebRequest `
       -Method POST `
       -Headers $headers `
       -ContentType: "application/json; charset=utf-8" `
       -InFile request.json `
       -Uri "https://vision.googleapis.com/v1/images:annotate" | Select-Object -Expand Content

   Se o pedido for bem-sucedido, o servidor devolve um código de estado HTTP 200 OK e a resposta no formato JSON.

   Resposta:

   Note: Zero coordinate values omitted. When the API detects a coordinate ("x" or "y") value of 0, that coordinate is omitted in the JSON response. Thus, a response with a bounding poly around the entire image would be
   [{},{"x": 100},{"x": 100,"y": 100},{"y": 100}] for an image that is 100 pixels by 100 pixels. For more information, see the API Reference documentation.

   {
     "responses": [
       {
         "landmarkAnnotations": [
           {
             "mid": "/m/014lft",
             "description": "Saint Basil's Cathedral",
             "score": 0.7840959,
             "boundingPoly": {
               "vertices": [
                 {
                   "x": 812,
                   "y": 1058
                 },
                 {
                   "x": 2389,
                   "y": 1058
                 },
                 {
                   "x": 2389,
                   "y": 3052
                 },
                 {
                   "x": 812,
                   "y": 3052
                 }
               ]
             },
             "locations": [
               {
                 "latLng": {
                   "latitude": 55.752912,
                   "longitude": 37.622315883636475
                 }
               }
             ]
           }
         ]
       }
     ]
   }
   

   Go

   Antes de experimentar este exemplo, siga as Goinstruções de configuração no início rápido do Vision usando bibliotecas cliente. Para mais informações, consulte a documentação de referência da API GoVision.

   Para se autenticar no Vision, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local.

   
   // detectLandmarks gets landmarks from the Vision API for an image at the given file path.
   func detectLandmarks(w io.Writer, file string) error {
   	ctx := context.Background()
   
   	client, err := vision.NewImageAnnotatorClient(ctx)
   	if err != nil {
   		return err
   	}
   
   	f, err := os.Open(file)
   	if err != nil {
   		return err
   	}
   	defer f.Close()
   
   	image, err := vision.NewImageFromReader(f)
   	if err != nil {
   		return err
   	}
   	annotations, err := client.DetectLandmarks(ctx, image, nil, 10)
   	if err != nil {
   		return err
   	}
   
   	if len(annotations) == 0 {
   		fmt.Fprintln(w, "No landmarks found.")
   	} else {
   		fmt.Fprintln(w, "Landmarks:")
   		for _, annotation := range annotations {
   			fmt.Fprintln(w, annotation.Description)
   		}
   	}
   
   	return nil
   }
   

   Java

   Antes de experimentar este exemplo, siga as instruções de configuração do Java no guia de início rápido da API Vision com bibliotecas cliente. Para mais informações, consulte a documentação de referência da API Vision Java.

   Nota: para utilizadores da estrutura Spring do Java, o Spring Cloud Google Cloud oferece uma forma de configurar automaticamente as definições de autenticação e os objetos de cliente para usar a API Vision.

   
   import com.google.cloud.vision.v1.AnnotateImageRequest;
   import com.google.cloud.vision.v1.AnnotateImageResponse;
   import com.google.cloud.vision.v1.BatchAnnotateImagesResponse;
   import com.google.cloud.vision.v1.EntityAnnotation;
   import com.google.cloud.vision.v1.Feature;
   import com.google.cloud.vision.v1.Image;
   import com.google.cloud.vision.v1.ImageAnnotatorClient;
   import com.google.cloud.vision.v1.LocationInfo;
   import com.google.protobuf.ByteString;
   import java.io.FileInputStream;
   import java.io.IOException;
   import java.util.ArrayList;
   import java.util.List;
   
   public class DetectLandmarks {
     public static void detectLandmarks() throws IOException {
       // TODO(developer): Replace these variables before running the sample.
       String filePath = "path/to/your/image/file.jpg";
       detectLandmarks(filePath);
     }
   
     // Detects landmarks in the specified local image.
     public static void detectLandmarks(String filePath) throws IOException {
       List<AnnotateImageRequest> requests = new ArrayList<>();
       ByteString imgBytes = ByteString.readFrom(new FileInputStream(filePath));
   
       Image img = Image.newBuilder().setContent(imgBytes).build();
       Feature feat = Feature.newBuilder().setType(Feature.Type.LANDMARK_DETECTION).build();
       AnnotateImageRequest request =
           AnnotateImageRequest.newBuilder().addFeatures(feat).setImage(img).build();
       requests.add(request);
   
       // Initialize client that will be used to send requests. This client only needs to be created
       // once, and can be reused for multiple requests. After completing all of your requests, call
       // the "close" method on the client to safely clean up any remaining background resources.
       try (ImageAnnotatorClient client = ImageAnnotatorClient.create()) {
         BatchAnnotateImagesResponse response = client.batchAnnotateImages(requests);
         List<AnnotateImageResponse> responses = response.getResponsesList();
   
         for (AnnotateImageResponse res : responses) {
           if (res.hasError()) {
             System.out.format("Error: %s%n", res.getError().getMessage());
             return;
           }
   
           // For full list of available annotations, see http://g.co/cloud/vision/docs
           for (EntityAnnotation annotation : res.getLandmarkAnnotationsList()) {
             LocationInfo info = annotation.getLocationsList().listIterator().next();
             System.out.format("Landmark: %s%n %s%n", annotation.getDescription(), info.getLatLng());
           }
         }
       }
     }
   }

   Node.js

   Antes de experimentar este exemplo, siga as Node.jsinstruções de configuração no início rápido do Vision usando bibliotecas cliente. Para mais informações, consulte a documentação de referência da API Node.jsVision.

   Para se autenticar no Vision, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local.

   const vision = require('@google-cloud/vision');
   
   // Creates a client
   const client = new vision.ImageAnnotatorClient();
   
   /**
    * TODO(developer): Uncomment the following line before running the sample.
    */
   // const fileName = 'Local image file, e.g. /path/to/image.png';
   
   // Performs landmark detection on the local file
   const [result] = await client.landmarkDetection(fileName);
   const landmarks = result.landmarkAnnotations;
   console.log('Landmarks:');
   landmarks.forEach(landmark => console.log(landmark));

   Python

   Antes de experimentar este exemplo, siga as Pythoninstruções de configuração no início rápido do Vision usando bibliotecas cliente. Para mais informações, consulte a documentação de referência da API PythonVision.

   Para se autenticar no Vision, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local.

   def detect_landmarks(path):
       """Detects landmarks in the file."""
       from google.cloud import vision
   
       client = vision.ImageAnnotatorClient()
   
       with open(path, "rb") as image_file:
           content = image_file.read()
   
       image = vision.Image(content=content)
   
       response = client.landmark_detection(image=image)
       landmarks = response.landmark_annotations
       print("Landmarks:")
   
       for landmark in landmarks:
           print(landmark.description)
           for location in landmark.locations:
               lat_lng = location.lat_lng
               print(f"Latitude {lat_lng.latitude}")
               print(f"Longitude {lat_lng.longitude}")
   
       if response.error.message:
           raise Exception(
               "{}\nFor more info on error messages, check: "
               "https://cloud.google.com/apis/design/errors".format(response.error.message)
           )
   
   

   Idiomas adicionais

   C#: Siga as instruções de configuração do C# na página das bibliotecas cliente e, em seguida, visite a documentação de referência do Vision para .NET.

   PHP: Siga as instruções de configuração do PHP na página das bibliotecas cliente e, em seguida, visite a documentação de referência do Vision para PHP.

   Ruby: Siga as instruções de configuração do Ruby na página das bibliotecas de cliente e, em seguida, visite a documentação de referência do Vision para Ruby.

   Detete pontos de referência numa imagem remota

   Pode usar a API Vision para realizar a deteção de funcionalidades num ficheiro de imagem remoto localizado no Cloud Storage ou na Web. Para enviar um pedido de ficheiro remoto, especifique o URL da Web do ficheiro ou o URI do Cloud Storage no corpo do pedido.

   Aviso: quando obtém imagens de URLs HTTP/HTTPS, a Google não pode garantir que o pedido será concluído. O seu pedido pode falhar se o anfitrião especificado negar o pedido (por exemplo, devido à limitação de pedidos ou à prevenção de DoS) ou se a Google limitar os pedidos ao site para evitar abusos. Como prática recomendada, não dependa de imagens alojadas externamente para aplicações de produção.

   REST

   Antes de usar qualquer um dos dados do pedido, faça as seguintes substituições:

   • CLOUD_STORAGE_IMAGE_URI: o caminho para um ficheiro de imagem válido num contentor do Cloud Storage. Tem de ter, pelo menos, privilégios de leitura para o ficheiro. Exemplo:
     • gs://cloud-samples-data/vision/landmark/st_basils.jpeg

   • RESULTS_INT: (Opcional) Um valor inteiro de resultados a devolver. Se omitir o campo "maxResults" e o respetivo valor, a API devolve o valor predefinido de 10 resultados. Este campo não se aplica aos seguintes tipos de elementos: TEXT_DETECTION, DOCUMENT_TEXT_DETECTION ou CROP_HINTS.
   • PROJECT_ID: o ID do seu Google Cloud projeto.

   Método HTTP e URL:

   POST https://vision.googleapis.com/v1/images:annotate

   Corpo JSON do pedido:

   {
     "requests": [
       {
         "image": {
           "source": {
             "gcsImageUri": "CLOUD_STORAGE_IMAGE_URI"
           }
         },
         "features": [
           {
             "maxResults": RESULTS_INT,
             "type": "LANDMARK_DETECTION"
           },
         ]
       }
     ]
   }
   

   Para enviar o seu pedido, escolha uma destas opções:

   curl

   Nota: O comando seguinte pressupõe que tem sessão iniciada na CLI gcloud com a sua conta de utilizador executando gcloud init ou gcloud auth login, ou usando o Cloud Shell, que inicia automaticamente sessão na CLI gcloud. Pode verificar a conta atualmente ativa executando o comando gcloud auth list.

   Guarde o corpo do pedido num ficheiro com o nome request.json, e execute o seguinte comando:

   curl -X POST \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "x-goog-user-project: PROJECT_ID" \
        -H "Content-Type: application/json; charset=utf-8" \
        -d @request.json \
        "https://vision.googleapis.com/v1/images:annotate"

   PowerShell

   Nota: O comando seguinte pressupõe que iniciou sessão na CLI do Google Ads com a sua conta de utilizador executando gcloud init ou gcloud auth login .gcloud Pode verificar a conta atualmente ativa executando o comando gcloud auth list.

   Guarde o corpo do pedido num ficheiro com o nome request.json, e execute o seguinte comando:

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "PROJECT_ID" }
   
   Invoke-WebRequest `
       -Method POST `
       -Headers $headers `
       -ContentType: "application/json; charset=utf-8" `
       -InFile request.json `
       -Uri "https://vision.googleapis.com/v1/images:annotate" | Select-Object -Expand Content

   Se o pedido for bem-sucedido, o servidor devolve um código de estado HTTP 200 OK e a resposta no formato JSON.

   Resposta:

   Note: Zero coordinate values omitted. When the API detects a coordinate ("x" or "y") value of 0, that coordinate is omitted in the JSON response. Thus, a response with a bounding poly around the entire image would be
   [{},{"x": 100},{"x": 100,"y": 100},{"y": 100}] for an image that is 100 pixels by 100 pixels. For more information, see the API Reference documentation.

   {
     "responses": [
       {
         "landmarkAnnotations": [
           {
             "mid": "/m/014lft",
             "description": "Saint Basil's Cathedral",
             "score": 0.7840959,
             "boundingPoly": {
               "vertices": [
                 {
                   "x": 812,
                   "y": 1058
                 },
                 {
                   "x": 2389,
                   "y": 1058
                 },
                 {
                   "x": 2389,
                   "y": 3052
                 },
                 {
                   "x": 812,
                   "y": 3052
                 }
               ]
             },
             "locations": [
               {
                 "latLng": {
                   "latitude": 55.752912,
                   "longitude": 37.622315883636475
                 }
               }
             ]
           }
         ]
       }
     ]
   }
   

   Go

   Antes de experimentar este exemplo, siga as Goinstruções de configuração no início rápido do Vision usando bibliotecas cliente. Para mais informações, consulte a documentação de referência da API GoVision.

   Para se autenticar no Vision, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local.

   
   // detectLandmarks gets landmarks from the Vision API for an image at the given file path.
   func detectLandmarksURI(w io.Writer, file string) error {
   	ctx := context.Background()
   
   	client, err := vision.NewImageAnnotatorClient(ctx)
   	if err != nil {
   		return err
   	}
   
   	image := vision.NewImageFromURI(file)
   	annotations, err := client.DetectLandmarks(ctx, image, nil, 10)
   	if err != nil {
   		return err
   	}
   
   	if len(annotations) == 0 {
   		fmt.Fprintln(w, "No landmarks found.")
   	} else {
   		fmt.Fprintln(w, "Landmarks:")
   		for _, annotation := range annotations {
   			fmt.Fprintln(w, annotation.Description)
   		}
   	}
   
   	return nil
   }
   

   Java

   Antes de experimentar este exemplo, siga as Javainstruções de configuração no início rápido do Vision usando bibliotecas cliente. Para mais informações, consulte a documentação de referência da API JavaVision.

   Para se autenticar no Vision, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local.

   
   import com.google.cloud.vision.v1.AnnotateImageRequest;
   import com.google.cloud.vision.v1.AnnotateImageResponse;
   import com.google.cloud.vision.v1.BatchAnnotateImagesResponse;
   import com.google.cloud.vision.v1.EntityAnnotation;
   import com.google.cloud.vision.v1.Feature;
   import com.google.cloud.vision.v1.Image;
   import com.google.cloud.vision.v1.ImageAnnotatorClient;
   import com.google.cloud.vision.v1.ImageSource;
   import com.google.cloud.vision.v1.LocationInfo;
   import java.io.IOException;
   import java.util.ArrayList;
   import java.util.List;
   
   public class DetectLandmarksGcs {
   
     public static void detectLandmarksGcs() throws IOException {
       // TODO(developer): Replace these variables before running the sample.
       String filePath = "gs://your-gcs-bucket/path/to/image/file.jpg";
       detectLandmarksGcs(filePath);
     }
   
     // Detects landmarks in the specified remote image on Google Cloud Storage.
     public static void detectLandmarksGcs(String gcsPath) throws IOException {
       List<AnnotateImageRequest> requests = new ArrayList<>();
   
       ImageSource imgSource = ImageSource.newBuilder().setGcsImageUri(gcsPath).build();
       Image img = Image.newBuilder().setSource(imgSource).build();
       Feature feat = Feature.newBuilder().setType(Feature.Type.LANDMARK_DETECTION).build();
       AnnotateImageRequest request =
           AnnotateImageRequest.newBuilder().addFeatures(feat).setImage(img).build();
       requests.add(request);
   
       // Initialize client that will be used to send requests. This client only needs to be created
       // once, and can be reused for multiple requests. After completing all of your requests, call
       // the "close" method on the client to safely clean up any remaining background resources.
       try (ImageAnnotatorClient client = ImageAnnotatorClient.create()) {
         BatchAnnotateImagesResponse response = client.batchAnnotateImages(requests);
         List<AnnotateImageResponse> responses = response.getResponsesList();
   
         for (AnnotateImageResponse res : responses) {
           if (res.hasError()) {
             System.out.format("Error: %s%n", res.getError().getMessage());
             return;
           }
   
           // For full list of available annotations, see http://g.co/cloud/vision/docs
           for (EntityAnnotation annotation : res.getLandmarkAnnotationsList()) {
             LocationInfo info = annotation.getLocationsList().listIterator().next();
             System.out.format("Landmark: %s%n %s%n", annotation.getDescription(), info.getLatLng());
           }
         }
       }
     }
   }

   Node.js

   Antes de experimentar este exemplo, siga as Node.jsinstruções de configuração no início rápido do Vision usando bibliotecas cliente. Para mais informações, consulte a documentação de referência da API Node.jsVision.

   Para se autenticar no Vision, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local.

   // Imports the Google Cloud client libraries
   const vision = require('@google-cloud/vision');
   
   // Creates a client
   const client = new vision.ImageAnnotatorClient();
   
   /**
    * TODO(developer): Uncomment the following lines before running the sample.
    */
   // const bucketName = 'Bucket where the file resides, e.g. my-bucket';
   // const fileName = 'Path to file within bucket, e.g. path/to/image.png';
   
   // Performs landmark detection on the gcs file
   const [result] = await client.landmarkDetection(
     `gs://${bucketName}/${fileName}`
   );
   const landmarks = result.landmarkAnnotations;
   console.log('Landmarks:');
   landmarks.forEach(landmark => console.log(landmark));

   Python

   Antes de experimentar este exemplo, siga as Pythoninstruções de configuração no início rápido do Vision usando bibliotecas cliente. Para mais informações, consulte a documentação de referência da API PythonVision.

   Para se autenticar no Vision, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local.

   def detect_landmarks_uri(uri):
       """Detects landmarks in the file located in Google Cloud Storage or on the
       Web."""
       from google.cloud import vision
   
       client = vision.ImageAnnotatorClient()
       image = vision.Image()
       image.source.image_uri = uri
   
       response = client.landmark_detection(image=image)
       landmarks = response.landmark_annotations
       print("Landmarks:")
   
       for landmark in landmarks:
           print(landmark.description)
   
       if response.error.message:
           raise Exception(
               "{}\nFor more info on error messages, check: "
               "https://cloud.google.com/apis/design/errors".format(response.error.message)
           )
   
   

   gcloud

   Para realizar a deteção de pontos de referência, use o comando gcloud ml vision detect-landmarks conforme mostrado no exemplo seguinte:

   gcloud ml vision detect-landmarks gs://cloud-samples-data/vision/landmark/st_basils.jpeg
   

   Idiomas adicionais

   C#: Siga as instruções de configuração do C# na página das bibliotecas cliente e, em seguida, visite a documentação de referência do Vision para .NET.

   PHP: Siga as instruções de configuração do PHP na página das bibliotecas cliente e, em seguida, visite a documentação de referência do Vision para PHP.

   Ruby: Siga as instruções de configuração do Ruby na página das bibliotecas de cliente e, em seguida, visite a documentação de referência do Vision para Ruby.

   Experimentar

   Experimente a deteção de pontos de referência abaixo. Pode usar a imagem já especificada (gs://cloud-samples-data/vision/landmark/st_basils.jpeg) ou especificar a sua própria imagem em alternativa. Envie o pedido selecionando Executar.

   

   Créditos da imagem: Nikolay Vorobyev no Unsplash.

   Corpo do pedido:

   {
     "requests": [
       {
         "features": [
           {
             "maxResults": 10,
             "type": "LANDMARK_DETECTION"
           }
         ],
         "image": {
           "source": {
             "imageUri": "gs://cloud-samples-data/vision/landmark/st_basils.jpeg"
           }
         }
       }
     ]
   }