Accéder aux données Solr depuis AlloyDB pour PostgreSQL

Vous pouvez accéder aux données stockées dans Apache Solr et les rechercher à l'aide de l'intégration de la recherche externe dans AlloyDB pour PostgreSQL.

Avant de commencer

Avant de commencer, assurez-vous d'avoir effectué les actions suivantes :

Stocker les identifiants Solr dans Secret Manager

AlloyDB stocke et lit vos identifiants Solr à partir de Secret Manager. Pour l'authentification de base, la valeur du secret dans Secret Manager doit être une chaîne encodée en base64 au format username:password. Pour en savoir plus sur l'utilisation de Secret Manager, consultez Créer un secret et y accéder à l'aide de Secret Manager.

Assurez-vous que votre compte de service AlloyDB dispose du rôle Accesseur de secrets Secret Manager (roles/secretmanager.secretAccessor) pour lire le secret dans Secret Manager. Pour en savoir plus, consultez Créer un secret et y accéder à l'aide de Secret Manager.

Activer et configurer l'extension external_search_fdw

Pour commencer votre intégration à Solr, configurez l'accès à votre cluster Solr via un serveur de données externes.

CREATE EXTENSION external_search_fdw;

CREATE SERVER SOLR_SERVER_NAME
FOREIGN DATA WRAPPER external_search_fdw
OPTIONS (
  server 'SOLR_SERVER_HOST_PORT',
  search_provider 'solr',
  auth_mode 'secret_manager',
  auth_method 'AUTH_METHOD',
  secret_path 'SECRET_PATH'
);

Remplacez les variables suivantes :

  • SOLR_SERVER_NAME : nom de votre serveur de données externes. Exemple : solr.

  • SOLR_SERVER_HOST_PORT : URL publique de votre cluster SOLR. Exemple : https://node1.solr.test.com:8983.

  • AUTH_METHOD : type d'authentification à utiliser. Exemple :Basic

  • SECRET_PATH : chemin d'accès Secret Manager à vos identifiants d'authentification Solr. Par exemple : projects/123456789012/secrets/apikey/versions/1. 123456789012 représente l'ID de votre projet Google Cloud .

  1. Définissez le mappage utilisateur PostgreSQL pour le serveur Solr. Notez que les FDW PostgreSQL nécessitent ce mappage utilisateur pour fonctionner. AlloyDB s'authentifie à l'aide de l'en-tête d'autorisation REST.

    CREATE USER MAPPING FOR CURRENT_USER
SERVER SOLR_SERVER_NAME;

  2. Mappez le schéma de votre collection Solr sur une table étrangère PostgreSQL.

    CREATE FOREIGN TABLE SOLR_FD_TABLE(
    metadata external_search_fdw_schema.OpaqueMetadata,
    SOLR_FIELDS)
       SERVER SOLR_SERVER_NAME
       OPTIONS(
            remote_table_name 'SOLR_COLLECTION_NAME'
            unique_key_sort_suffix 'UNIQUE_KEY_SORT_SUFFIX'
       );

    Remplacez les nouvelles variables suivantes :

    • SOLR_FD_TABLE : nom de la table de données externe qui représente votre table Solr. Exemple :my-fd-solr-table

    • SOLR_FIELDS : liste séparée par des virgules, où chaque entrée suit le format solr_field_name PG_DATA_TYPE. Pour obtenir la liste des types de données Solr acceptés et de leurs types PostgreSQL correspondants, consultez Types de données acceptés.

    • UNIQUE_KEY_SORT_SUFFIX : (facultatif) champ de clé unique dans Solr, ou liste de plusieurs champs avec leur ordre de tri, séparés par une virgule (par exemple, myid0 ASC, myid1 DESC), utilisé pour la pagination. La valeur par défaut est id.

    • PG_DATA_TYPE : le type PostgreSQL auquel vous souhaitez le mapper. Voici quelques exemples courants :

      • TEXT pour les données de chaîne.
      • INTEGER pour les données numériques.

    • SOLR_COLLECTION_NAME : nom de votre collection Solr. Exemple :my-solr-collection

Interroger vos données Solr

AlloyDB prend les requêtes SQL et les convertit en requêtes d'API REST Solr.

Pour interroger vos données Solr, vous disposez des options suivantes :

  • Requêtes en SQL standard
  • DSL de requête
  • Recherches hybrides

Requêtes en SQL standard

Vous pouvez utiliser le SQL standard avec la syntaxe Lucene pour l'expression de recherche.

SELECT id, body
FROM SOLR_FD_TABLE
WHERE FILTER
ORDER BY metadata <@> 'QUERY';

Remplacez les variables suivantes :

  • SOLR_FD_TABLE : nom de la table de données externe qui représente votre table Solr. Exemple : my-fd-solr-table.

  • (Facultatif) FILTER : filtre à appliquer à votre requête Solr. Exemple :AND qubits < 105

  • QUERY : requête à envoyer à Solr. Exemple :body:database

DSL de requête

Pour les cas d'utilisation avancés, utilisez le DSL de requête de style JSON de Solr.

SELECT id, title
FROM SOLR_FD_TABLE
ORDER BY metadata <@> $${
  "query": "title:solr",
  "filter": ["category:software", "inStock:true"],
  "sort": "price desc"
}$$
LIMIT 1;

Remplacez SOLR_FD_TABLE par le nom de la table de données externe qui représente votre table Solr. Exemple : my-fd-solr-table.

Pour effectuer une recherche hybride sur vos données Solr, joignez les résultats de la recherche de jetons Solr à ceux de la recherche vectorielle AlloyDB.

SELECT *
FROM ai.hybrid_search(
  ARRAY[
    '{"limit": LIMIT,
      "weight": WEIGHT,
      "table_name": "SOLR_FD_TABLE",
      "key_column": "id",
      "query_text_input": "QUERY"}'::jsonb
  ])
ORDER BY score DESC;

Remplacez les variables suivantes :

  • LIMIT : nombre de résultats à renvoyer. Exemple :10

  • WEIGHT : contribution de cette entrée de recherche au Reciprocal Rank Fusion (RRF) global. Exemple :0.5

  • SOLR_FD_TABLE : nom de la table de données externe qui représente votre table Solr. Exemple : my-fd-solr-table.

  • QUERY : requête à envoyer à Solr. Par exemple, "solr_field_name:\"cloud databases\"" recherche l'expression "bases de données cloud" dans le champ solr_field_name.

Dépannage

Si vous rencontrez des problèmes d'authentification ou de connectivité lorsque vous interrogez votre cluster Solr, vérifiez les causes courantes suivantes :

  • Erreurs d'authentification HTTP 401 ou 403 : vérifiez que votre secret Solr dans Secret Manager contient une chaîne encodée en base64 au format username:password et que le compte de service utilisé par AlloyDB dispose de l'autorisation secretmanager.secretAccessor.
  • Délai d'expiration de la connexion : vérifiez que la connectivité IP publique sortante est activée sur votre instance AlloyDB principale et que votre pare-feu Solr autorise les connexions entrantes sur le port spécifié.

Limites

Avant de connecter AlloyDB à Solr, prenez connaissance des limites suivantes :

  • L'intégration de Solr n'est disponible que sur la version majeure 17 de PostgreSQL et les versions ultérieures.

  • AlloyDB lit les données Solr, mais ne les écrit pas.

  • AlloyDB n'indexe pas automatiquement les données de votre base de données dans Solr. Vous êtes responsable du remplissage de vos collections Solr et du maintien de la cohérence entre les données d'AlloyDB et les données indexées dans Solr.

  • AlloyDB ne synchronise pas automatiquement les schémas avec Solr. Si le schéma de votre collection Solr change, vous devez mettre à jour manuellement le schéma de la table externe PostgreSQL correspondante.

  • Contrairement à Elasticsearch, Solr ne possède pas de champs de type JSON prédéfinis. Vous devez mapper les champs de type JSON sur des chaînes au format TEXT ou jsonb.

  • Solr nécessite une clé unique dans l'expression de tri pour que la pagination fonctionne correctement. Par défaut, le champ id est utilisé. Vous pouvez spécifier un champ personnalisé ou une liste de plusieurs champs séparés par une virgule, ainsi que leur ordre de tri individuel (par exemple, myid0 ASC, myid1 DESC) à l'aide de l'option unique_key_sort_suffix lorsque vous créez la table externe.

Étapes suivantes