Google utilizza la tecnologia AI per tradurre i contenuti nella tua lingua preferita. Le traduzioni generate dall'AI potrebbero contenere errori.

Analizzare i PDF in una pipeline di Retrieval Augmented Generation

Questo tutorial ti guida attraverso il processo di creazione di una pipeline di generazione Retrieval-Augmented Generation (RAG) basata su contenuti PDF analizzati.

I file PDF, come i documenti finanziari, possono essere difficili da utilizzare nelle pipeline RAG a causa della loro struttura complessa e del mix di testo, cifre e tabelle. Questo tutorial mostra come utilizzare la funzione ML.PROCESS_DOCUMENT in combinazione con il parser di layout di Document AI per creare una pipeline RAG basata sulle informazioni chiave estratte da un file PDF.

Obiettivi

Questo tutorial spiega le seguenti attività:

Creazione di una connessione alle risorse Cloud per connetterti a Cloud Storage e Vertex AI da BigQuery.
Crea un bucket Cloud Storage e carica un file PDF di esempio.
Creazione di una tabella di oggetti sul file PDF per renderlo disponibile in BigQuery.
Crea un processore Document AI che puoi utilizzare per analizzare il file PDF.
Creazione di un modello remoto che ti consente di utilizzare l'API Document AI per accedere al processore di documenti da BigQuery.
Utilizzando il modello remoto con la funzione ML.PROCESS_DOCUMENT per analizzare i contenuti del PDF in blocchi e poi scrivere i contenuti in una tabella BigQuery.
Estrazione dei contenuti PDF dai dati JSON restituiti dalla funzione ML.PROCESS_DOCUMENT e scrittura di questi contenuti in una tabella BigQuery.
Genera incorporamenti dai contenuti PDF analizzati e poi scrivili in una tabella BigQuery. Gli incorporamenti sono rappresentazioni numeriche dei contenuti PDF che ti consentono di eseguire la ricerca semantica e il recupero dei contenuti PDF.
Utilizza la funzione VECTOR_SEARCH sugli incorporamenti per identificare contenuti PDF semanticamente simili.
Esegui la Retrieval Augmented Generation (RAG) utilizzando la funzione AI.GENERATE per generare testo, utilizzando i risultati della ricerca vettoriale per migliorare l'input del prompt e migliorare i risultati.

Costi

In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:

BigQuery: You incur costs for the data that you process in BigQuery.
Gemini Enterprise Agent Platform: You incur costs for calls to Agent Platform models.
Document AI: You incur costs for calls to the Document AI API.
Cloud Storage: You incur costs for object storage in Cloud Storage.

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il calcolatore prezzi.

I nuovi utenti di Google Cloud potrebbero avere diritto a una prova senza costi.

Al termine delle attività descritte in questo documento, puoi evitare l'addebito di ulteriori costi eliminando le risorse che hai creato. Per saperne di più, consulta Esegui la pulizia.

Prima di iniziare

Console

Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei carichi di lavoro.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.