Gemini モデルは、マルチモーダル AI として一から構築されています。そのため、画像キャプション、分類、視覚的な質問応答など、さまざまな画像処理タスクやコンピュータ ビジョン タスクを、専用の ML モデルをトレーニングすることなく実行できます。
Gemini モデルは、一般的なマルチモーダル機能に加えて、追加のトレーニングにより、オブジェクト検出やセグメンテーションなどの特定のユースケースで精度が向上しています。
Gemini に画像を渡す
Gemini に画像を渡すには、次の複数の方法があります。
- URL を使用して画像を渡す: 一般公開されている画像に最適です。
- インライン画像データの受け渡し: base64 でエンコードされた画像データの場合。
- File API を使用した画像のアップロード: 大きいファイルや、複数のリクエストで画像を再利用する場合におすすめします。
URL を使用して画像を渡す
Files API を使用して画像をアップロードし、リクエストで渡すことができます。
Python
from google import genai
client = genai.Client()
uploaded_file = client.files.upload(file="path/to/organ.jpg")
interaction = client.interactions.create(
model="gemini-3.6-flash",
input=