بسیاری از مدلهای Gemini با پنجرههای متنی بزرگی با ۱ میلیون یا بیشتر توکن ارائه میشوند. از نظر تاریخی، مدلهای زبانی بزرگ (LLM) به طور قابل توجهی توسط مقدار متن (یا توکنهایی) که میتوانستند در یک زمان به مدل منتقل شوند، محدود میشدند. پنجره متنی طولانی Gemini بسیاری از موارد استفاده جدید و الگوهای توسعهدهنده را باز میکند.
کدی که قبلاً برای مواردی مانند تولید متن یا ورودیهای چندوجهی استفاده میکردید، بدون هیچ تغییری با متن طولانی کار خواهد کرد.
این سند به شما مروری کلی از آنچه میتوانید با استفاده از مدلهایی با پنجرههای زمینهای با ۱ میلیون توکن و بیشتر به دست آورید، ارائه میدهد. این صفحه، مروری مختصر بر یک پنجره زمینهای ارائه میدهد و بررسی میکند که توسعهدهندگان چگونه باید در مورد زمینه طولانی، موارد استفاده مختلف در دنیای واقعی برای زمینه طولانی و راههای بهینهسازی استفاده از زمینه طولانی فکر کنند.
برای اندازههای پنجره زمینه مدلهای خاص، به صفحه مدلها مراجعه کنید.
پنجره زمینه چیست؟
روش اصلی استفاده از مدلهای Gemini، ارسال اطلاعات (زمینه) به مدل است که متعاقباً پاسخی تولید میکند. میتوان پنجره زمینه را با حافظه کوتاه مدت مقایسه کرد. مقدار محدودی از اطلاعات میتواند در حافظه کوتاه مدت یک فرد ذخیره شود و همین امر در مورد مدلهای مولد نیز صادق است.
میتوانید اطلاعات بیشتری در مورد نحوهی عملکرد مدلها در زیر کاپوت را در راهنمای مدلهای مولد ما بخوانید.
شروع کار با متن طولانی
نسخههای اولیه مدلهای مولد تنها قادر به پردازش ۸۰۰۰ توکن در یک زمان بودند. مدلهای جدیدتر با پذیرش ۳۲۰۰۰ یا حتی ۱۲۸۰۰۰ توکن، این محدودیت را بیشتر کردهاند. Gemini اولین مدلی است که قادر به پذیرش ۱ میلیون توکن است.
در عمل، ۱ میلیون توکن به شکل زیر خواهد بود:
- ۵۰،۰۰۰ خط کد (با استاندارد ۸۰ کاراکتر در هر خط)
- تمام پیامکهایی که در ۵ سال گذشته ارسال کردهاید
- ۸ رمان انگلیسی با حجم متوسط
- متن بیش از ۲۰۰ قسمت پادکست با طول متوسط
پنجرههای زمینهای محدودتر که در بسیاری از مدلهای دیگر رایج هستند، اغلب به استراتژیهایی مانند حذف دلخواه پیامهای قدیمی، خلاصهسازی محتوا، استفاده از RAG با پایگاههای داده برداری یا فیلتر کردن اعلانها برای ذخیره توکنها نیاز دارند.
اگرچه این تکنیکها در سناریوهای خاص ارزشمند باقی میمانند، اما پنجره زمینه گسترده Gemini رویکرد مستقیمتری را میطلبد: ارائه تمام اطلاعات مرتبط از قبل. از آنجا که مدلهای Gemini با قابلیتهای زمینهای گسترده و هدفمند ساخته شدهاند، یادگیری قدرتمندی را در زمینه ارائه میدهند. به عنوان مثال، Gemini تنها با استفاده از مطالب آموزشی در زمینه (یک دستور زبان مرجع ۵۰۰ صفحهای، یک فرهنگ لغت و تقریباً ۴۰۰ جمله موازی)، یاد گرفت که از انگلیسی به Kalamang - یک زبان پاپوآیی با کمتر از ۲۰۰ گوینده - با کیفیتی مشابه یک زبانآموز انسانی با استفاده از همان مطالب ترجمه کند . این نشان دهنده تغییر الگو است که توسط زمینه طولانی Gemini امکانپذیر شده است و از طریق یادگیری قوی در زمینه، امکانات جدیدی را فراهم میکند.