במאמר הזה מוסבר איך להוסיף מידע על מקורות נתונים ייחודיים ומותאמים אישית אל Knowledge Catalog (לשעבר Dataplex Universal Catalog).
Knowledge Catalog משמש כמאגר מרכזי לכל נכסי הנתונים שלכם. כדי לשלב מקור מותאם אישית, צריך שלושה רכיבי מפתח:
קבוצת רשומות: זהו מאגר מאובטח שמכיל את רשומות הנתונים המותאמים אישית. אפשר לחשוב על זה כמו על תיקייה שמוגדרות בה הרשאות גישה והמיקום הגיאוגרפי (האזור) של הרשומות.
סוג הרשומה: משמש כתבנית או כסכימה. הוא מגדיר את שדות המטא-נתונים הנדרשים (כמו בעלי הנתונים, תדירות העדכון או ציון האיכות) לסוג מסוים של נכס נתונים.
רשומה: הרשומה היא הנכס או הרשומה הספציפית עצמה (לדוגמה, קובץ קנייני או טבלת מסד נתונים ספציפיים).
תהליך השילוב
כדי לרשום מקור נתונים מותאם אישית, צריך להגדיר את המבנה הבא:
יוצרים קבוצת רשומות (התיקייה).
מגדירים סוג רשומה (התבנית או הסכימה).
יוצרים את הרשומה המותאמת אישית (רשומת הנתונים) באמצעות התבנית בתיקייה.
דפים
רשומה מייצגת נכס נתונים שאתם מתעדים את המטא-נתונים שלו. כל רשומה היא מופע של סוג רשומה. כל פעולה שמתבצעת על היבטים של רשומה צריכה לעמוד בדרישות ההיבטים של סוג הרשומה. לדוגמה, כשיוצרים רשומה, צריך לספק ערכים לכל סוגי ההיבטים שמוגדרים על ידי סוג הרשומה. אי אפשר למחוק את ההיבטים האלה ברשומה שמסומנת כ-required בסוג הרשומה.
קטגוריות של רשומות
רשומות מערכת: ב-Knowledge Catalog נוצרות רשומות עבור Google Cloud משאבים, כמו מערכי נתונים או טבלאות ב-BigQuery. הערכים שנוצרים ב-Knowledge Catalog נקראים ערכי מערכת. Knowledge Catalog מעדכן באופן אוטומטי את הרשומות במערכת באמצעות סנכרון רציף של מטא-נתונים מהמערכות הנתמכות Google Cloud .
אי אפשר לשנות את המטא-נתונים שמאוכלסים באופן אוטומטי (נקראים היבטים נדרשים) עבור רשומות מערכת. אפשר להוסיף ולשנות מטא נתונים נוספים של רשומות מערכת רק באמצעות היבטים אופציונליים. מידע נוסף זמין במאמר בנושא קטגוריות של היבטים.
רשומות בהתאמה אישית: רשומות שאפשר ליצור ולנהל עבור משאבים בהתאמה אישית נקראות רשומות בהתאמה אישית. משאבים בהתאמה אישית הם משאבים בשירותים שלא שייכים ל-Google, שמתארחים ב- Google Cloud או חיצונית (למשל, בשרתים מקומיים).
קבוצות של רשומות
קבוצת רשומות היא מאגר של רשומה אחת או יותר. אפשר להשתמש בקבוצות של רשומות כדי לנהל את בקרת הגישה ואת המיקום האזורי של הרשומות. כל קבוצת רשומות שייכת לפרויקט וחייבת לעמוד בהנחיות למתן שמות למשאבים ב-Knowledge Catalog.
קטגוריות של קבוצות ערכים
קבוצות של רשומות שנוצרו על ידי המערכת: עבור Google Cloud משאבים, Knowledge Catalog יוצר באופן אוטומטי קבוצות של רשומות לכל מערכת בכל פרויקט ובכל מיקום שבו המשאבים נמצאים. לדוגמה,
@bigqueryהיא קבוצת רשומות המערכת של BigQuery.קבוצות כניסה בהתאמה אישית: קבוצות כניסה שיוצרים עבור משאבים בהתאמה אישית.
סוגי רשומות
סוגי הרשומות מגדירים את המטא-נתונים הנדרשים לרשומות מהסוג הזה, באמצעות קבוצה של סוגי היבטים נדרשים.
אפשר לציין את סוגי ההיבטים הנדרשים רק ברשומות, ולא בעמודות של רשומה. כשיוצרים רשומה מסוג רשומה ספציפי, צריך לספק ערכים לכל סוגי ההיבטים הנדרשים שצוינו על ידי סוג הרשומה.
סוגי היבטים נדרשים שמפנים אליהם בתוך סוג רשומה חייבים להיות שייכים לאותו פרויקט כמו סוג הרשומה.
קטגוריות של סוגי רשומות
סוגי רשומות בהתאמה אישית: סוגי רשומות שאתם יוצרים ומנהלים. אתם יכולים להשתמש בסוגי הרשומות האלה כדי ליצור רשומות בהתאמה אישית.
סוגי רשומות במערכת: Knowledge Catalog מספק את סוגי הרשומות האלה כברירת מחדל: סוגי הרשומות במערכת מסווגים גם כסוגים שאפשר לעשות בהם שימוש חוזר וכסוגים מוגבלים.
בטבלה הבאה מתוארות הקטגוריות של סוגי הרשומות במערכת, ורשימת סוגי הרשומות ש-Knowledge Catalog מספק לכל אחת מהקטגוריות:
קטגוריה של סוג רשומה במערכת תיאור סוגי הרשומות שמופיעים ב-Knowledge Catalog סוג רשומה של מערכת לשימוש חוזר אתם יכולים להשתמש בסוג הרשומה הזה כדי ליצור רשומות מותאמות אישית. generic
סוג רשומה של מערכת מוגבלת הם שמורים לשימוש המערכת, למשל ליצירת רשומות של משאביGoogle Cloud .
אי אפשר להשתמש בסוגי הרשומות האלה כדי ליצור רשומות, אבל אפשר לערוך רשומות מסוגים כאלה כדי להוסיף היבטים אופציונליים.כולל, בין היתר: analytics-hub-exchangeanalytics-hub-listingaspecttypebigquery-datasetbigquery-tablecloudsql-databasecloudsql-instancecloudsql-tableentrygroupentrytypesql-accessstoragestorage-bucketstorage-folder
אפשר ליצור סוג רשומה בהתאמה אישית במיקום אזורי ספציפי או כמשאב גלובלי. המיקום של סוג רשומה משפיע על היקף החלות שלה. מידע נוסף זמין במאמר אילוצים של פרויקטים ומיקומים.
סוגי רשומות של מערכת הם תמיד גלובליים. סוגי הרשומות של המערכת מאוחסנים בפרויקט בניהול Google עם מזהה הפרויקט 655216118709. לדוגמה, projects/655216118709/locations/global/entryTypes/bigquery-table.
לפני שמתחילים
לפני שמנהלים רשומות ומטמיעים מקורות נתונים מותאמים אישית, חשוב לוודא שהשלמתם את המשימות שמתוארות בקטע הזה.
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות ליצירה ולניהול של רשומות, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים במשאב:
-
קבוצה מלאה של הרשאות לגבי רשומות, קבוצות רשומות וסוגי רשומות:
אדמין של Dataplex Catalog (
roles/dataplex.catalogAdmin) -
יצירה וניהול של משאבי מטא-נתונים ב-Knowledge Catalog, כולל רשומות, קבוצות רשומות וסוגי רשומות:
Dataplex Catalog Editor (
roles/dataplex.catalogEditor) -
גישה מלאה לפעולות שקשורות לרשומה:
בעלים של רשומה ושל קישור לרשומה ב-Dataplex (
roles/dataplex.entryOwner) -
צפייה ברשומות, בקבוצות רשומות ובסוגי רשומות, ובמדיניות IAM שמשויכת אליהם:
צפייה בקטלוג Dataplex (
roles/dataplex.catalogViewer) -
כשיוצרים רשומות בהתאמה אישית, אפשר להשתמש בסוגי מאפיינים כדי ליצור מאפיינים מהסוגים האלה:
Dataplex Aspect Type User (
roles/dataplex.aspectTypeUser) -
יצירה וניהול של קבוצות רשומות:
בעלים של קבוצת רשומות ב-Dataplex (
roles/dataplex.entryGroupOwner) -
יצירה וניהול של סוגי רשומות:
בעלים של סוג רשומה ב-Dataplex (
roles/dataplex.entryTypeOwner) -
אפשר להשתמש בסוגי רשומות כדי ליצור ולשנות רשומות מהסוגים האלה:
Dataplex Entry Type User (
roles/dataplex.entryTypeUser)
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
מידע נוסף זמין במאמר תפקידי IAM ב-Knowledge Catalog.
הפעלת ה-API
מפעילים את Dataplex API בפרויקט Knowledge Catalog. אם אתם משתמשים בפרויקט חדש Google Cloud או בפרויקט שבו BigQuery API מופעל, Dataplex API מופעל כברירת מחדל.
יצירת קבוצת רשומות
המסוף
במסוף Google Cloud , עוברים לדף Metadata types ב-Knowledge Catalog.
לוחצים על הכרטיסייה קבוצות של רשומות > מותאם אישית.
לוחצים על יצירה.
בחלון Create entry group, מזינים את הפרטים הבאים:
- אופציונלי: בשדה השם המוצג, מזינים שם מוצג לקבוצת הרשומות.
- מזהה קבוצת רשומות: מזינים מזהה ייחודי לקבוצת הרשומות.
- אופציונלי: בשדה Description, מזינים תיאור לקבוצת הרשומות.
- מיקום: בוחרים מיקום. אי אפשר לשנות את המיקום אחרי שיוצרים את קבוצת הרשומות.
אופציונלי: בקטע Labels (תוויות), מוסיפים למשאבים תוויות שרירותיות בתור צמדי מפתח/ערך:
- לוחצים על הוספת תווית.
- בשדה מפתח, מזינים מפתח.
- בשדה ערך, מזינים ערך למפתח.
- כדי להוסיף עוד תוויות, לוחצים על הוספת תווית וחוזרים על השלבים.
לוחצים על Save.
gcloud
כדי ליצור קבוצת רשומות, משתמשים בפקודה gcloud dataplex entry-groups create.
C#
C#
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי C#ההוראות להגדרה במאמר מדריך למתחילים לעבודה עם Knowledge Catalog באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של Knowledge Catalog C# API.
כדי לבצע אימות לקטלוג הידע, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
המשך
Go
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Goההוראות להגדרה במאמר מדריך למתחילים לעבודה עם Knowledge Catalog באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של Knowledge Catalog Go API.
כדי לבצע אימות לקטלוג הידע, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Java
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Javaההוראות להגדרה במאמר מדריך למתחילים לעבודה עם Knowledge Catalog באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של Knowledge Catalog Java API.
כדי לבצע אימות לקטלוג הידע, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Node.js
Node.js
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Node.jsההוראות להגדרה במאמר מדריך למתחילים לעבודה עם Knowledge Catalog באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של Knowledge Catalog Node.js API.
כדי לבצע אימות לקטלוג הידע, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.