Analyser des PDF dans un pipeline de génération augmentée par récupération

Ce tutoriel vous guide tout au long du processus de création d'un pipeline de génération augmentée par récupération (RAG) basé sur du contenu PDF analysé.

Les fichiers PDF, tels que les documents financiers, peuvent être difficiles à utiliser dans les pipelines RAG en raison de leur structure complexe et de leur mélange de texte, de figures et de tableaux. Ce tutoriel vous explique comment utiliser la fonction ML.PROCESS_DOCUMENT en combinaison avec l'analyseur de mise en page de Document AI pour créer un pipeline RAG basé sur les informations clés extraites d'un fichier PDF.

Objectifs

Ce tutoriel couvre les tâches suivantes :

  • Créez une connexion aux ressources Cloud pour pouvoir vous connecter à Cloud Storage et Vertex AI depuis BigQuery.
  • Créez un bucket Cloud Storage et importez un exemple de fichier PDF.
  • Créer une table d'objets sur le fichier PDF pour le rendre disponible dans BigQuery.
  • Créez un processeur Document AI que vous pourrez utiliser pour analyser le fichier PDF.
  • Créer un modèle distant qui vous permet d'utiliser l'API Document AI pour accéder au processeur de documents depuis BigQuery.
  • Utilisation du modèle distant avec la fonction ML.PROCESS_DOCUMENT pour analyser le contenu du PDF en blocs, puis écrire ce contenu dans une table BigQuery.
  • Extraire le contenu PDF des données JSON renvoyées par la fonction ML.PROCESS_DOCUMENT, puis écrire ce contenu dans une table BigQuery.
  • Générez des embeddings à partir du contenu PDF analysé, puis écrivez-les dans une table BigQuery. Les embeddings sont des représentations numériques du contenu PDF qui vous permettent d'effectuer des recherches et des récupérations sémantiques sur le contenu PDF.
  • Utilisez la fonction VECTOR_SEARCH sur les embeddings pour identifier le contenu PDF sémantiquement similaire.
  • Effectuer une génération augmentée par récupération (RAG) en utilisant la fonction AI.GENERATE pour générer du texte, en utilisant les résultats de recherche vectorielle pour augmenter l'entrée de l'invite et améliorer les résultats.

Coûts

Dans ce document, vous utilisez les composants facturables suivants de Google Cloud :

Pour obtenir une estimation des coûts en fonction de votre utilisation prévue, utilisez le