קובצי אימג' של מערכת ההפעלה ו-Docker

Google Cloud מספק תמונות שמכילות מערכות הפעלה, מסגרות, ספריות ודרייברים נפוצים. Google Cloud הוא מבצע אופטימיזציה של התמונות שהוגדרו מראש כדי לתמוך בעומסי העבודה של בינה מלאכותית (AI) ולמידת מכונה (ML).

במסמך הזה מפורטת סקירה כללית של התמונות שבהן משתמשים כדי לפרוס, לנהל ולהפעיל עומסי עבודה בסביבת AI Hypercomputer.

הסבר על קטגוריות התמונות

התמונות מחולקות לקטגוריות הבאות:

• ספריות ומסגרות של AI ו-ML: תמונות Docker שמוגדרות מראש עם קבצים בינאריים של ספריות ומסגרות של ML, כדי לפשט את היצירה, האימון והשימוש במודלים של ML. ב-AI Hypercomputer, אפשר להשתמש בתמונות Docker של Deep Learning Software Layer (DLSL) כדי להריץ מודלים של למידת מכונה כמו NeMO ו-MaxText באשכול Google Kubernetes Engine ‏ (GKE).
• פריסה ותזמור של אשכולות: תמונות של מערכת הפעלה (OS) שמשמשות לפריסה ולניהול של התשתית שעברה אופטימיזציה לביצועים, שבה פועלות עומסי העבודה של ה-AI. אפשר לפרוס את עומסי העבודה של ה-AI באשכולות GKE, באשכולות Slurm או במופעי Compute Engine. מידע נוסף זמין במאמר סקירה כללית על יצירת מכונות וירטואליות ואשכולות. קובצי האימג' של מערכות ההפעלה הבאות זמינים לפריסה של אשכולות או מופעים:
  • תמונות של צמתים ב-GKE: אפשר להשתמש בתמונות האלה כדי לפרוס אשכולות GKE.
  • תמונות של מערכת ההפעלה Slurm: Cluster Toolkit יוצר ופורס את התמונות האלה, שמתקינות את תוכנת המערכת הנדרשת לצמתי Slurm.
  • תמונות של מערכת הפעלה של מאיץ: אפשר להשתמש בתמונות האלה כדי ליצור מופעים בודדים או קבוצות של מופעים.

ספריות ו-frameworks של AI ו-ML

‫Google Cloud מספקת קובצי אימג' של Docker שכוללים חבילות של מסגרות וספריות פופולריות של AI ו-ML. התמונות האלה מספקות את התוכנה שנדרשת כדי לפשט את הפיתוח, האימון והפריסה של מודלים באשכולות שעברו אופטימיזציה ל-AI ופועלים ב-AI Hypercomputer.

תמונות מ-AI ב-JAX

תמונות AI של JAX‏ (JAII, שנקראו בעבר תמונות של JAX Stable Stack) ל- Google Cloud TPU ול-GPU מציעות תמונות Docker מוכנות לשימוש שמכילות את מסגרת JAX, אוסף שנבחר בקפידה של ספריות תואמות והגדרות ל תשתית Google Cloud . תמונות JAX AI TPU מוגדרות מראש עם ספריות JAX ועם ספריות TPU. תמונות JAX AI GPU מגיעות עם הגדרה מראש של ספריות JAX וספריות CUDA/NVIDIA רלוונטיות.

שכבת החומרה

תמונות AI של JAX ממוקמות מעל שכבת החומרה, שמורכבת מהמאיצים (TPU או GPU) וממכונות וירטואליות שמשויכות אליהם. כדי להשתמש בתמונה של JAX AI, צריך להקצות מכונות וירטואליות של TPU או GPU. אפשר לעשות את זה באמצעות TPU API,‏ Compute Engine API או GKE API.

שכבת ה-framework

שכבת ה-framework מספקת כלים וספריות ליצירת עומסי עבודה של ML. תמונות JAX AI מספקות בסיס מוגדר מראש לעומסי עבודה של למידת מכונה שמבוססים על JAX, כולל ספריית הליבה של JAX ותלות חיונית אחרת, כדי להבטיח חוויית פיתוח עקבית ובעלת ביצועים גבוהים.

שכבת LibTPU בתמונה של AI ב-JAX מובנית ומצורפת באופן ספציפי לגרסת JAX המתאימה. שימוש בגרסה אחרת של JAX עלול להוביל להתנהגות לא צפויה או לשגיאות.

שכבת ה-CUDA בתמונה של JAX AI כוללת רכיבים שמנוהלים על ידי NVIDIA, כמו תמונה של NGC CUDA Deep Learning, שמשמשת כתמונת הבסיס של תמונת האימון של ה-GPU. תמונת ה-GPU מכילה גם את Transformer Engine, ספרייה מותאמת אישית של NVIDIA להאצת מודלים של טרנספורמרים במעבדי GPU של NVIDIA.

יכול להיות שיהיה צורך בחבילות נוספות שספציפיות לאפליקציה, מעבר לאלה שמופיעות בתמונת ה-AI של JAX, כדי להריץ את עומס העבודה הספציפי של למידת המכונה.

ספריות ב-JAX AI Images: