במאמר הזה מוסבר איך לייצא מטא-נתונים מ-Knowledge Catalog (לשעבר Dataplex Universal Catalog) באמצעות משימת ייצוא של מטא-נתונים, כדי להשתמש בהם במערכות חיצוניות. אתם יכולים לייצא את המטא-נתונים כדי לנתח אותם באמצעות כלים כמו BigQuery, לעבד כמויות גדולות של נתונים באופן פרוגרמטי או לשלב אותם עם אפליקציות בהתאמה אישית.
המדריך הזה מיועד למי שמכיר את המושגים שקשורים למטא-נתונים של Knowledge Catalog, כולל קבוצות רשומות, סוגי רשומות וסוגי היבטים.
היקף המשרה
היקף המשימה מגדיר את המטא-נתונים לייצוא. צריך לציין את אחת מההגדרות הבאות של היקף העבודה לכל משימת ייצוא של מטא-נתונים:
- ארגון: ייצוא של המטא-נתונים ששייכים לארגון.
- Projects: מייצא את המטא-נתונים ששייכים לפרויקטים שצוינו.
- קבוצות של רשומות: ייצוא של המטא-נתונים ששייכים לקבוצות הרשומות שצוינו.
אפשר לצמצם עוד יותר את ההיקף על ידי ציון סוגי הרשומות או סוגי ההיבטים שייכללו בעבודה. העבודה מייצאת רק את הרשומות וההיבטים ששייכים לסוגי הרשומות ולסוגי ההיבטים האלה.
VPC Service Controls
Knowledge Catalog משתמש ב-VPC Service Controls כדי לספק אבטחה נוספת לעבודות ייצוא של מטא-נתונים. הפרויקט שאליו שייך הג'וב קובע את גבולות הגזרה של VPC Service Controls, באופן הבא:
- אם מגדירים את היקף העבודה לרמת הארגון, קורות הפעולות הבאות:
- היקף הייצוא הוא הארגון שאליו שייכת המשימה.
- רק הרשומות שנמצאות ב-perimeter של VPC Service Controls מיוצאות.
- כל הפרויקטים שנמצאים בארגון של המשימה אבל מחוץ לגבולות הגזרה של VPC Service Controls מוחרגים.
- אם מגדירים את היקף העבודה לפרויקטים או לקבוצות של רשומות, הפרויקטים או הקבוצות של הרשומות צריכים להיות באותם גבולות גזרה של VPC Service Controls כמו העבודה. אם יש הפרה של כללי VPC Service Controls באחד מהפרויקטים או מקבוצות הכניסה, העבודה תיכשל.
לפני שמתחילים
לפני שמייצאים מטא-נתונים, צריך להשלים את המשימות שבקטע הזה.
התפקידים הנדרשים למשתמשי קצה
כדי לקבל את ההרשאות שדרושות לניהול של משימות ייצוא מטא-נתונים, אתם צריכים לבקש מהאדמין לתת לכם את תפקידי ה-IAM הבאים:
- יצירת משימות לייצוא מטא-נתונים: