Creazione di un'applicazione

Questa pagina mostra come creare un'app e combinare componenti, come flussi di input, modelli per l'analisi e warehouse per l'archiviazione, da utilizzare sulla piattaforma dell'app Vision di Gemini Enterprise Agent Platform.

Per creare un'app, devi considerare le origini dati, l'analisi che vuoi eseguire e il modo in cui vuoi archiviare i risultati. Un'app end-to-end può avere moduli diversi a seconda del caso d'uso. Di conseguenza, il modo in cui crei un'app dipenderà dal tuo obiettivo.

Prima di iniziare, valuta il tuo caso d'uso e il tuo obiettivo dal punto di vista dell'AI responsabile e considera l'impatto che i tuoi modelli e le tue applicazioni potrebbero avere sugli utenti finali in caso di errore. Scopri di più sui primi passi per valutare l'equità del tuo caso d'uso. Assicurati inoltre che il tuo utilizzo di Gemini Enterprise Agent Platform Vision sia conforme ai Termini di servizio di Google Cloudo a una variante offline e ai Termini URL incorporati, come le Norme di utilizzo accettabile di Google Cloud.

Quando crei la tua applicazione, tieni presente che le tecnologie di visione AI hanno il potenziale di rafforzare o introdurre bias ingiusti e di influire sui diritti umani fondamentali. Lo sviluppo della tua applicazione deve comportare una riflessione etica basata sui valori della tua azienda e una due diligence legale per il tuo caso d'uso specifico, inclusi i casi d'uso ad alto rischio. Come per tutte le tecnologie, devi considerare tutte le leggi e le normative vigenti che regolano l'utilizzo delle tecnologie di AI/ML nella regione in cui le implementi. I clienti sono responsabili della due diligence necessaria per implementare casi d'uso considerati ad alto rischio in una determinata regione.

Crea una nuova applicazione

Prima di poter aggiungere componenti come uno stream o modelli a un'app, devi creare l'app stessa. Per essere implementate, tutte le app devono contenere quanto segue:

• Un nodo di input stream (origine dati).
• Almeno un altro nodo componente, ad esempio un modello o un warehouse.

Crea una nuova applicazione personalizzata

Creare un'applicazione con un modello

Aggiungere l'input dello stream

Un'applicazione deve contenere un nodo di stream video. Non puoi eseguire il deployment dell'applicazione se non aggiungi un nodo Streams.

Se l'applicazione non è stata implementata, l'aggiornamento dell'input dello stream verrà applicato automaticamente all'applicazione. Se la tua app è già stata implementata, devi annullarne l'implementazione e aggiornarla per applicare le modifiche. Per maggiori dettagli, consulta la sezione Aggiornare un'app.

POST https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput

{
  "applicationStreamInputs": [
     {
       "streamWithAnnotation": {
         "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
       }
     },
     {
       "streamWithAnnotation": {
         "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
       }
     }
   ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput" | Select-Object -Expand Content

Aggiungere input di stream con annotazioni dei nodi

Quando crei un flusso di input dell'applicazione, puoi aggiungere annotazioni al flusso utilizzando l'API Gemini Enterprise Agent Platform Vision. Puoi anche aggiungere annotazioni a un nodo nella consoleGoogle Cloud .

POST https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput

{
  "applicationStreamInputs": [
    {
      "streamWithAnnotation": {
        "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID",
        "nodeAnnotations": [
          {
            "node": "NODE_NAME",
            "annotations": [
              {
                "id": "ANNOTATION_ID",
                "displayName": "ANNOTATION_DISPLAYNAME",
                "sourceStream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID",
                "type": ANNOTATION_TYPE,
                "activeZone": {
                  "normalizedVertices": {
                    "x": 0.07434944,
                    "y": 0.18061674
                  },
                  "normalizedVertices": {
                    "x": 0.64684016,
                    "y": 0.16079295
                  },
                  "normalizedVertices": {
                    "x": 0.6047088,
                    "y": 0.92070484
                  },
                  "normalizedVertices": {
                    "x": 0.1251549,
                    "y": 0.76651984
                  }
                }
              }
            ]
          }
        ]
      }
    }
  ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:addStreamInput" | Select-Object -Expand Content

Rimuovere l'input dello stream

POST https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:removeStreamInput

{
  "targetStreamInputs": [
     {
       "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
     },
     {
       "stream": "projects/PROJECT/locations/LOCATION_ID/clusters/application-cluster-0/streams/STREAM_ID"
     }
   ]
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:removeStreamInput"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://visionai.googleapis.com/v1/projects/PROJECT/locations/LOCATION_ID/applications/APPLICATION_ID:removeStreamInput" | Select-Object -Expand Content

Aggiungere un modello pre-addestrato di Gemini Enterprise Agent Platform Vision

Dopo aver creato un'app, puoi aggiungere un modello e collegarlo a stream, ad altri modelli o a un media warehouse.

Esistono due tipi di modelli: modelli preaddestrati o modelli addestrati dall'utente. Allo stesso modo, anche i modelli addestrati dall'utente possono essere di due tipi: AutoML o con addestramento personalizzato:

• I modelli pre-addestrati svolgono un obiettivo specifico, vengono addestrati su dati generalizzati e sono pronti all'uso.
• I modelli AutoML o con addestramento personalizzato addestrati dall'utente richiedono di identificare e fornire dati di esempio e quindi addestrare modelli più adatti al tuo caso d'uso unico. Addestri questi modelli utilizzando Vertex AI, un prodotto che offre due opzioni di addestramento: modelli addestrati con AutoML e modelli con addestramento personalizzato. Per ulteriori informazioni, consulta la sezione Scegliere un metodo di addestramento.

Segui queste istruzioni per aggiungere un modello di visione preaddestrato di Gemini Enterprise Agent Platform al grafico dell'app.

Aggiungere un modello Vertex AI addestrato dall'utente

Dopo aver creato un'app, puoi aggiungere un modello e collegarlo a stream, ad altri modelli o a un media warehouse.

Esistono due tipi di modelli: modelli preaddestrati o modelli addestrati dall'utente. Allo stesso modo, anche i modelli addestrati dall'utente possono essere di due tipi: AutoML o con addestramento personalizzato:

• I modelli pre-addestrati svolgono un obiettivo specifico, vengono addestrati su dati generalizzati e sono pronti all'uso.
• I modelli AutoML o con addestramento personalizzato addestrati dall'utente richiedono di identificare e fornire dati di esempio e quindi addestrare modelli più adatti al tuo caso d'uso unico. Addestri questi modelli utilizzando Vertex AI, un prodotto che offre due opzioni di addestramento: modelli addestrati con AutoML e modelli con addestramento personalizzato. Per ulteriori informazioni, consulta la sezione Scegliere un metodo di addestramento.

Aggiungere un modello di flusso di rilevamento di oggetti AutoML di Vertex AI

Segui le istruzioni riportate di seguito per aggiungere al grafico dell'app un modello di flusso di rilevamento di oggetti AutoML di Vertex AI che addestri.

Prima di poter addestrare un modello Vertex AI AutoML, devi preparare i dati di rilevamento degli oggetti e creare un set di dati.

Addestrare un modello da utilizzare in Gemini Enterprise Agent Platform Vision

Dopo aver creato un set di dati con una raccolta rappresentativa di dati in Vertex AI, puoi addestrare un modello da utilizzare in Gemini Enterprise Agent Platform Vision.

Aggiungere il modello addestrato all'app

Una volta completato l'addestramento del modello, puoi aggiungerlo all'app Gemini Enterprise Agent Platform Vision.

Aggiungere un modello personalizzato Vertex AI

Puoi anche importare modelli addestrati personalizzati di Vertex AI in Gemini Enterprise Agent Platform Vision per utilizzarli per l'analisi dei dati. Questi modelli con addestramento personalizzato devono avere le seguenti proprietà:

• Il modello deve essere stateless, poiché l'input del modello sono le immagini che provengono da diverse istanze dell'applicazione (stream) e potrebbero essere fuori ordine. Se hai bisogno di un'elaborazione di streaming stateful, potresti dover conservare gli stati all'interno del tuo contenitore.
• La dimensione dell'input del modello è limitata a 1,5 MB. Di conseguenza, Gemini Enterprise Agent Platform Vision deve comprimere l'immagine RGB originale in un formato con perdita di dati, ad esempio JPG.

Segui le istruzioni riportate di seguito per aggiungere al grafico dell'app un modello video personalizzato addestrato con Vertex AI esistente.

Per informazioni sulla creazione di un modello con addestramento personalizzato Vertex AI con container personalizzato, consulta Utilizzare un container personalizzato per la previsione.

Specifica un file YAML delle istanze

Quando aggiungi un modello addestrato personalizzato di Vertex AI, devi specificare un file YAML di istanze (instances.yaml) archiviato in Cloud Storage. Questo file specifica l'input previsto per il container del modello.

Vertex AI invia la richiesta di previsione in un formato:

{
  "instances": [
    <value>|<simple/nested list>|<object>,
    ...
  ]
}

Qui, instances.yaml definisce lo schema del payload. Per saperne di più, consulta Generazione di previsioni online da modelli con addestramento personalizzato.

Gemini Enterprise Agent Platform Vision supporta solo modelli addestrati personalizzati con esattamente un input di previsione denominato. Questo tipo di input deve essere una stringa JPEG codificata. Lo schema dell'input di previsione deve essere specificato con il file YAML dello schema delle istanze. Questo file YAML dello schema deve essere nel formato di un oggetto schema OpenAPI.

Ad esempio, il seguente schema riceverà la richiesta con l'immagine codificata in un campo denominato image_bytes:

properties:
  image_bytes:
    type: string

Il tuo modello personalizzato riceve l'input di previsione nel seguente formato:

{
  "instances": [
    {
      "image_bytes" : {
        "b64": "BASE64_ENCODED_IMAGE_BYTES"
      }
    }
  ]
}

Prima di importare il modello in Gemini Enterprise Agent Platform Vision, verifica che funzioni correttamente con questo input.

Specifica un file YAML delle previsioni

Quando aggiungi un modello addestrato in modo personalizzato di Vertex AI, puoi specificare un file YAML di previsioni (predictions.yaml) archiviato in Cloud Storage. Questo file specifica l'output del contenitore del modello.

Questo file è facoltativo, ma consigliato per informare Gemini Enterprise Agent Platform Vision della struttura dell'output del modello. Ad esempio, il seguente file classification_1.0.0.yaml descrive le informazioni sull'output del modello per un modello di classificazione delle immagini:

title: Classification
type: object
description: >
  The predicted AnnotationSpecs.
properties:
  ids:
    type: array
    description: >
      The resource IDs of the