יצירה ועריכה של סרטונים באמצעות Gemini Omni Flash

‫Gemini Omni Flash‏ (gemini-omni-1.1-flash) הוא מודל רב-אופני עם ביצועים גבוהים, שנועד ליצירה ועריכה של סרטונים במהירות גבוהה ולשליטה קולנועית. ‫Gemini Omni מבוסס על היכולות הבסיסיות הבאות שמבדילות אותו ממודלים קודמים ליצירת סרטונים:

• מולטי-מודאליות מובנית: הוא מעבד טקסט, תמונה, אודיו ווידאו בו-זמנית, ומספק פלט מגובש, עקבי וניתן לשליטה.
• עריכה בממשק שיחה: באמצעות Interactions API, אפשר לשפר ולערוך את הסרטונים באופן איטרטיבי באמצעות שיחה בשפה טבעית. מתארים את השינוי שרוצים לעשות, והמודל מבצע את העריכה תוך שמירה על החלקים בסרטון שרוצים להשאיר.
• ידע על העולם: Gemini Omni משלב בין הבנה של פיזיקה לבין הידע של Gemini בהיסטוריה, במדע ובהקשר תרבותי, ומגשר על הפער בין פוטוריאליזם לבין סיפור משמעותי.

יצירת סרטונים לפי טקסט

יצירת סרטון מפרומפט טקסטואלי. המודל יוצר סרטון עם אודיו על סמך תיאור הטקסט שהזנתם. כדי לקבל את התוצאות הטובות ביותר, כדאי לכתוב הנחיות עם פרטים כמו תיאור הסצנה, תנועת המצלמה, התאורה והאווירה.

import base64
from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-omni-1.1-flash",
    input="A marble rolling fast on a chain reaction style track, continuous smooth shot."
)
with open("marble.mp4", "wb") as f:
    f.write(base64.b64decode(interaction.output_video.data))

import { GoogleGenAI } from '@google/genai';
import * as fs from 'fs';
const ai = new GoogleGenAI({});

const interaction = await ai.interactions.create({
  model: 'gemini-omni-1.1-flash',
  input: 'A marble rolling fast on a chain reaction style track, continuous smooth shot.',
});

if (interaction.output_video?.data) {
  fs.writeFileSync('marble.mp4', Buffer.from(interaction.output_video.data