רמות שירות של Managed Service for Apache Spark | Google Cloud Documentation

דילוג לתוכן הראשי

תיעוד

תחילת עבודה

תחילת העבודה עם Google Cloud
רשימת מוצרים
Cloud Customer Care

מוצרים מומלצים

Agent Platform
Apigee API Management
BigQuery
Compute Engine
Cloud CDN
Cloud Run
Cloud Storage
Cloud SQL
Gemini Enterprise
Google Kubernetes Engine
Looker

כלים למכפלה וקטורית (cross product)

ניהול גישה ומשאבים
ניהול עלויות ושימוש
תשתית כקוד
‫SDK, שפות, frameworks וכלים

תחומים טכנולוגיים

‫AI ו-ML
פיתוח אפליקציות
אירוח אפליקציות
Compute
ניתוח נתונים וצינורות עיבוד נתונים
מסדי נתונים
סביבות מבוזרות, היברידיות ומרובות עננים (multi-cloud)
פתרונות לתעשייה
העברה
קשרים מקצועיים
ניראות ומעקב
אבטחה
Storage

/

מסוף

English
Deutsch
Español – América Latina
Français
Indonesia
Italiano
Português – Brasil
עברית
中文 – 简体
中文 – 繁體
日本語
한국어

היכנס

Managed Service for Apache Spark

התחלת תקופת ניסיון בחינם

סקירה כללית מדריכים חומרי עזר דגימות משאבים

תיעוד
- עוד
מסוף

סקירה כללית
מושגים מרכזיים
Managed Service for Apache Spark serverless
- סקירה כללית
- Managed Service for Apache Spark ברמות שירות בלי שרת (serverless)
‫Managed Service for Apache Spark באשכולות
השוואה בין פריסות ללא שרת לבין פריסות של אשכולות
‫Managed Service for Apache Spark on GKE
מתחילים
בלי שרת (serverless)
- יצירת עומס עבודה של אצווה ב-Spark ללא שרת
אשכולות
GKE
- הרצת משימת Spark ב-Kubernetes
פיתוח
בלי שרת (serverless)
- הגדרת serverless
- יצירת עומסי עבודה וסשנים של אצווה
- יצירת טבלת Apache Iceberg עם מטא-נתונים בקטלוג של Lakehouse runtime
- שימוש במחבר BigQuery עם Spark
  - סקירה כללית
  - שליחת שאילתות לטבלאות ב-BigQuery
- הרצת קוד PySpark ב-notebooks של BigQuery Studio
- אופטימיזציה
אשכולות
- עיבוד נתונים
  - הגדרת Spark
    ניהול יחסי תלות ב-Spark
    התאמה אישית של סביבת Spark
    הפעלת כתיבה בו-זמנית
    שיפור הביצועים של Spark
    כוונון של Spark
    שימוש במנוע Lightning
  - הרצת משימות Spark
    שימוש במסוף
    שימוש בשורת הפקודה
    
    שימוש ב-REST APIs Explorer
    יצירת אשכול
    הרצת משימת Spark
    עדכון אשכול
    מחיקת אשכול
    שימוש בספריות לקוח
  - הרצת משימות ב-Hadoop
  - כתיבה והרצה של משימות Spark Scala
  - הפעלת Trino
  - הפעלת Flink
  - הרצת Hive
  - Run Pig
  - הפעלת HBase
  - הרצת Python
    הגדרת סביבת Python
    שימוש בספריות לקוח של Cloud ל-Python
  - שימוש במחברי נתונים
    
    שימוש במחבר Spark BigQuery
    סקירה כללית
    דוגמאות קוד של מחבר BigQuery
    שימוש במחבר Cloud Storage
    שימוש במחבר Spark Spanner
- אגמי נתונים (data lakes) ו-lake houses
- ממשקי משתמש ו-notebooks למדעי הנתונים
  - שימוש ב-Notebook
    סקירה כללית
    הרצת מחברת Jupyter באשכול
    הרצת ניתוח גנומיקה ב-notebook
    שימוש בתוסף JupyterLab לפיתוח עומסי עבודה (workloads) של Spark ללא שרת (serverless)
  - שימוש בשער הרכיבים
- מקורות נתונים ואחסון
- ניהול ומשילות מידע
  - ניהול ה-Fleet
  - שושלת
    הפעלת מעקב אחר מקורות נתונים ב-Spark
    הפעלת מעקב אחר מקורות נתונים ב-Hive
- הגדרת אשכולות
  - רכיבים
    סקירה כללית
    Delta Lake
    Docker
    Flink
    HBase
    Hive WebHCat
    Hudi
    Iceberg
    Jupyter
    חזיר
    פרסטו
    
    שומר היערות
    התקנת Ranger
    
    שימוש ב-Ranger
    שימוש ב-Ranger עם Kerberos
    שימוש ב-Ranger עם שמירה במטמון והגבלת היקף
    גיבוי ושחזור של סכימת Ranger
    Solr
    Trino
    Zeppelin
    מטפל בבעלי חיים
  - תמונות באשכול
    סקירה כללית
    שירותים
    
    גרסאות של תמונות אשכול
    סקירה כללית
    גרסאות תמונות של מהדורות 3.0.x
    גרסאות תמונות של מהדורות 2.3.x
    גרסאות של תמונות שפורסמו ב-2.2.x
    גרסאות תמונת ההפצה 2.1.x
  - אפשרויות מחשוב
    סוגי מכונות
    יחידות GPU
    פלטפורמת מעבד מינימלית
    מכונות וירטואליות גמישות
    עובדים משניים
    כונני SSD מקומיים
    דיסקים לאתחול
    דיסקים מסוג Hyperdisk שמצורפים
- יצירת אשכולות
- ניהול אשכולות
  - הגדרת תוויות לסינון
  - שינוי גודל של אשכולות
    התאמה ידנית של העומס באשכולות
    התאמה אוטומטית לעומס באשכולות
  - הפעלה והפסקה של אשכולות
    הפעלה והפסקה של אשכול
    תזמון של הפסקת האשכול
  - יצירה מחדש של אשכול
  - רוטציה של אשכולות
  - עדכון ומחיקה של אשכול
  - שימוש ב-SSH כדי להתחבר לאשכול
  - שיטות מומלצות
    סקירה כללית
    ממקסמים את הגמישות והיעילות של האשכולות והמשימות
  - ניהול נתוני האשכול
    אחסון נתונים ב-Hadoop
    בחירת סוג האחסון
    שמירת נתונים של אשכול במטמון
    הפחתת עומס של נתוני ערבוב
    צפייה ביומני האשכול
- ניהול ותזמור של עבודות
  - מחזור החיים של משימה
  - הפעלה מחדש של משימות
  - שימוש בתבניות של זרימות עבודה
    סקירה כללית
    הגדרת פרמטרים
    שימוש בקובצי YAML
    שימוש בבוררי אשכולות
    שימוש בתהליכי עבודה מוטבעים
  - תזמור תהליכי עבודה
    תבניות GitHub
    פתרונות לתזמון תהליכי עבודה
    שימוש בתבניות של זרימות עבודה
    שימוש ב-Cloud Composer
    שימוש ב-Cloud Functions
    שימוש ב-Cloud Scheduler
GKE
ניהול ופיקוח
בלי שרת (serverless)
אשכולות