יצירת פרופיל של נתוני BigQuery בארגון או בתיקייה

בדף הזה מוסבר איך להגדיר גילוי נתונים ב-BigQuery ברמת הארגון או התיקייה. הפלט של המשימה הזו הוא הגדרת גילוי ברמת הארגון, שאם היא פעילה, היא מורה לשירות Sensitive Data Protection ליצור פרופיל של הנתונים שלכם לפי לוח זמנים מוגדר.

כדי ליצור פרופיל נתונים ברמת הפרויקט, אפשר לעיין במאמר יצירת פרופיל של נתוני BigQuery בפרויקט יחיד.

מידע נוסף על שירות הגילוי זמין במאמר פרופילי נתונים.

כדי להתחיל ליצור פרופילים של נתונים, יוצרים הגדרה של סריקת גילוי.

לפני שמתחילים

1. מוודאים שיש לכם את הרשאות ה-IAM שנדרשות להגדרת פרופילי נתונים ברמת הארגון.

   אם אין לכם את התפקיד Organization Administrator (roles/resourcemanager.organizationAdmin) או Security Admin (roles/iam.securityAdmin), עדיין תוכלו ליצור הגדרת סריקה. אבל אחרי שיוצרים את הגדרות הסריקה, מישהו עם אחד מהתפקידים האלה צריך להעניק לסוכן השירות גישה ליצירת פרופיל נתונים.

2. צריכה להיות לכם תבנית בדיקה בכל אזור שבו יש לכם נתונים שצריך ליצור להם פרופיל. אם רוצים להשתמש בתבנית אחת לכמה אזורים, אפשר להשתמש בתבנית שמאוחסנת באזור global. אם מדיניות הארגון מונעת מכם ליצור תבנית בדיקה באזור global, אתם צריכים להגדיר תבנית בדיקה ייעודית לכל אזור. מידע נוסף מופיע במאמר שיקולים לגבי מיקום הנתונים.

   במשימה הזו אפשר ליצור תבנית בדיקה רק באזור global. אם אתם צריכים תבניות ייעודיות לבדיקה באזור אחד או יותר, אתם צריכים ליצור את התבניות האלה לפני שתבצעו את המשימה הזו.

3. כדי לשלוח התראות Pub/Sub לנושא כשמתרחשים אירועים מסוימים – למשל כשפרופילים של Sensitive Data Protection יוצרים טבלה חדשה – צריך ליצור נושא Pub/Sub לפני שמבצעים את המשימה הזו.

4. אתם יכולים להגדיר את Sensitive Data Protection כך שיצור באופן אוטומטי תגים למשאבים שלכם. התכונה הזו מאפשרת להעניק גישה למשאבים האלה באופן מותנה על סמך רמות הרגישות המחושבות שלהם. כדי להשתמש בתכונה הזו, צריך קודם להשלים את המשימות שמתוארות במאמר שליטה בגישת IAM למשאבים על סמך רגישות הנתונים.

כדי ליצור פרופילים של נתונים, צריך מאגר של סוכני שירות וסוכן שירות בתוכו. במשימה הזו אתם יכולים ליצור אותם באופן אוטומטי.

יצירת הגדרות סריקה

1. עוברים לדף יצירת הגדרת סריקה.

   כניסה לדף Create scan configuration

2. עוברים לארגון. בסרגל הכלים, לוחצים על הכלי לבחירת פרויקטים ובוחרים את הארגון.

בקטעים הבאים מוסבר בהרחבה על השלבים בדף יצירת הגדרת סריקה. בסיום כל קטע, לוחצים על המשך.

בוחרים סוג Discovery

בוחרים באפשרות BigQuery.

בחירת היקף הרשאות

• כדי להגדיר את יצירת הפרופילים ברמת הארגון, בוחרים באפשרות סריקת הארגון כולו.
• כדי להגדיר את יצירת הפרופיל ברמת התיקייה, בוחרים באפשרות סריקת התיקייה שנבחרה. לוחצים על עיון ובוחרים את התיקייה.

ניהול לוחות זמנים

אם תדירות יצירת הפרופילים שמוגדרת כברירת מחדל מתאימה לצרכים שלכם, אתם יכולים לדלג על הקטע הזה בדף יצירת הגדרות סריקה.

מגדירים את הקטע הזה מהסיבות הבאות:

• כדי לבצע שינויים מדויקים בתדירות יצירת הפרופילים של כל הנתונים או של קבוצות משנה מסוימות של הנתונים.
• כדי לציין את הטבלאות שלא רוצים ליצור להן פרופיל.
• כדי לציין את הטבלאות שלא רוצים ליצור להן פרופיל יותר מפעם אחת.

כדי לבצע התאמות מדויקות בתדירות של יצירת הפרופיל, פועלים לפי השלבים הבאים:

1. לוחצים על הוספת תזמון.

2. בקטע Filters (מסננים), מגדירים מסנן אחד או יותר שמציין אילו טבלאות נכללות בהיקף של התזמון. טבלה נחשבת כנכללת בהיקף של התזמון אם היא תואמת לפחות לאחד מהמסננים שהוגדרו.

   כדי להגדיר מסנן, צריך לציין לפחות אחד מהערכים הבאים:

   • מזהה פרויקט או ביטוי רגולרי שמציין פרויקט אחד או יותר
   • מזהה של קבוצת נתונים או ביטוי רגולרי שמציין קבוצת נתונים אחת או יותר
   • מזהה טבלה או ביטוי רגולרי שמציין טבלה אחת או יותר

   הביטויים הרגולריים צריכים להיות בהתאם לתחביר RE2.

   לדוגמה, אם רוצים שכל הטבלאות בפרויקט ייכללו במסנן, מציינים את מזהה הפרויקט ומשאירים את שני השדות האחרים ריקים.

   כדי שתהיה התאמה למסנן, הטבלה צריכה לעמוד בכל הביטויים הרגולריים שצוינו במסנן.

   כדי להוסיף עוד מסננים, לוחצים על הוספת מסנן וחוזרים על השלב הזה.

3. לוחצים על תדירות.

4. בקטע תדירות, מציינים אם השירות Sensitive Data Protection צריך ליצור פרופיל של הטבלאות שהגדרתם במסננים, ואם כן, באיזו תדירות:

   • אם אתם לא רוצים שהטבלאות ינותחו, משביתים את האפשרות ניתוח הטבלאות.

   • אם רוצים שהטבלאות ינותחו לפחות פעם אחת, משאירים את האפשרות ניתוח הטבלאות מופעלת.

     בשדות הבאים בקטע הזה, מציינים אם המערכת צריכה ליצור פרופיל חדש של הנתונים ואילו אירועים צריכים להפעיל פעולה של יצירת פרופיל חדש. מידע נוסף זמין במאמר בנושא תדירות יצירת פרופיל הנתונים.

     1. בקטע When schema changes (כשיש שינויים בסכימה), מציינים באיזו תדירות Sensitive Data Protection צריכה לבדוק אם בוצעו שינויים בסכימה של הטבלאות שנבחרו מאז הפעם האחרונה שנוצר להן פרופיל. רק טבלאות עם שינויים בסכימה ינותחו מחדש.
     2. בקטע Types of schema change (סוגי שינויים בסכימה), מציינים אילו סוגים של שינויים בסכימה צריכים להפעיל פעולה של יצירת פרופיל מחדש. בוחרים אחת מהאפשרויות הבאות:
        • עמודות חדשות: צריך ליצור מחדש את הפרופיל של הטבלאות שנוספו להן עמודות חדשות.
        • העמודות שהוסרו: צריך ליצור מחדש את הפרופיל של הטבלאות שהוסרו מהן עמודות.

        לדוגמה, נניח שיש לכם טבלאות שמתווספות להן עמודות חדשות כל יום, ואתם צריכים ליצור פרופיל של התוכן שלהן בכל פעם. אפשר להגדיר את האפשרות When schema changes (כשיש שינויים בסכימה) לערך Reprofile daily (יצירת פרופיל מחדש מדי יום), ואת האפשרות Types of schema change (סוגי שינויים בסכימה) לערך New columns (עמודות חדשות).

     3. בקטע When table changes (כאשר הטבלה משתנה), מציינים באיזו תדירות Sensitive Data Protection צריך לבדוק אם חלו שינויים בטבלאות שנבחרו מאז הפעם האחרונה שנוצר להן פרופיל. רק טבלאות עם שינויים ינותחו מחדש. דוגמאות לשינויים בטבלה: מחיקות של שורות ושינויים בסכימה.

        צריך לבחור ערך שזהה לערך שהגדרתם בשדה When schema changes או נמוך ממנו.

     4. בקטע When inspect template changes (כשמתבצעים שינויים בתבנית הבדיקה), מציינים אם רוצים שהנתונים ינותחו מחדש כשמתעדכנת תבנית הבדיקה המשויכת, ואם כן, באיזו תדירות.

        שינוי בתבנית בדיקה מזוהה באחד מהמקרים הבאים:

        • השם של תבנית הבדיקה משתנה בהגדרת הסריקה.
        • התבנית updateTime של תבנית בדיקה משתנה.

     לדוגמה, אם הגדרתם תבנית בדיקה לאזור us-west1 ועדכנתם את תבנית הבדיקה הזו, רק נתונים באזור us-west1 יעברו פרופיל מחדש.

5. לוחצים על תנאים.

6. בקטע תנאים, מציינים את התנאים שהטבלאות, שמוגדרות במסננים, צריכות לעמוד בהם לפני ש-Sensitive Data Protection יחיל עליהן פרופילים. אם מגדירים תנאים מינימליים וגם תנאי זמן, Sensitive Data Protection יוצר פרופילים רק לטבלאות שעומדות בשני סוגי התנאים.

   • תנאים מינימליים: התנאים האלה שימושיים אם רוצים לדחות את יצירת הפרופיל של טבלה עד שיש בה מספיק שורות או עד שהיא מגיעה לגיל מסוים. מפעילים את התנאים שרוצים להחיל ומציינים את מספר השורות המינימלי או את משך הזמן.
   • תנאי זמן: התנאי הזה שימושי אם אתם לא רוצים שאי פעם ייווצר פרופיל של טבלאות ישנות. מפעילים את התנאי של השעה ובוחרים תאריך ושעה. כל טבלה שנוצרה בתאריך הזה או לפניו לא נכללת בפרופיל.

   תנאים לדוגמה

   נניח שהגדרתם את ההגדרות הבאות:

   • תנאים מינימליים

     • מספר השורות המינימלי: 10 שורות
     • משך הזמן המינימלי: 24 שעות

   • תנאי זמן

     • חותמת זמן: 4/5/22, ‏ 23:59

   במקרה הזה, Sensitive Data Protection לא יכלול טבלאות שנוצרו בתאריך 4 במאי 2022 בשעה 23:59 או לפני כן. מבין הטבלאות שנוצרו אחרי התאריך והשעה האלה, פרופילים של Sensitive Data Protection נוצרים רק לטבלאות שיש בהן 10 שורות או שהן בנות 24 שעות לפחות.

7. בקטע Tables to profile, בוחרים באחת מהאפשרויות הבאות, בהתאם לסוגי הטבלאות שרוצים ליצור להן פרופיל:

   • Profile all tables (יצירת פרופיל לכל הטבלאות): בוחרים באפשרות הזו אם רוצים ש-Sensitive Data Protection ייצור פרופיל לכל סוגי הטבלאות שתואמים למסננים ולתנאים שהגדרתם.

     עבור סוגי טבלאות שלא נתמכים, Sensitive Data Protection יוצר פרופילים שאוכלסו רק באופן חלקי. בפרופילים כאלה מוצגות שגיאות שמציינות שהטבלאות שאליהן הם מתייחסים לא נתמכות. בוחרים באפשרות הזו אם רוצים לראות את הפרופילים החלקיים למרות הודעות השגיאה.

     כש-Sensitive Data Protection מוסיף תמיכה בסוג חדש של טבלה, הוא יוצר מחדש פרופילים של טבלאות מהסוג הזה באופן מלא במהלך ההפעלה המתוזמנת הבאה.

   • טבלאות נתמכות בפרופיל: בוחרים באפשרות הזו אם רוצים ש-Sensitive Data Protection תיצור פרופיל רק של הטבלאות הנתמכות שתואמות למסננים ולתנאים שהגדרתם. לא יהיו פרופילים חלקיים לטבלאות שלא נתמכות.

   • Profile specific table types: בוחרים באפשרות הזו אם רוצים ש-Sensitive Data Protection יצור פרופיל רק לסוגי הטבלאות שבוחרים. ברשימה שמופיעה, בוחרים סוג אחד או יותר.

     כש-Sensitive Data Protection מוסיף תמיכה בסוג חדש של טבלה, הוא לא יוצר באופן אוטומטי פרופיל של טבלאות מהסוג הזה. כדי ליצור פרופיל של סוגי טבלאות חדשים שנתמכים, צריך לערוך את הגדרות הסריקה ולבחור את הסוגים האלה.

   אם לא בוחרים באפשרות, פרופילים של Sensitive Data Protection יסרקו רק טבלאות ב-BigQuery ויציגו שגיאות לגבי טבלאות שלא נתמכות.

   המחיר של פרופיל נתונים משתנה בהתאם לסוגי הטבלאות שיוצרים להן פרופיל. מידע נוסף זמין במאמר בנושא תמחור של פרופיל נתונים.

8. לוחצים על סיום.

9. אופציונלי: כדי להוסיף עוד לוחות זמנים, לוחצים על הוספת לוח זמנים וחוזרים על השלבים הקודמים.

10. כדי לציין את סדר העדיפות בין לוחות הזמנים, משנים את הסדר שלהם באמצעות החצים arrow_upward למעלה וarrow_downward למטה.

    הסדר של לוחות הזמנים מציין איך נפתרות התנגשויות בין לוחות זמנים. אם טבלה תואמת למסננים של שני לוחות זמנים שונים, לוח הזמנים שמופיע גבוה יותר ברשימת לוחות הזמנים יקבע את תדירות יצירת הפרופיל עבור הטבלה הזו.

11. אופציונלי: עורכים או משביתים את לוח הזמנים הכללי.

    לוח הזמנים האחרון ברשימה הוא לוח הזמנים הכללי. התזמון הזה חל על הטבלאות בהיקף שבחרת שלא תואמות לאף אחד מהתזמונים שיצרת. לוח הזמנים של כלל התפיסה פועל לפי תדירות ברירת המחדל של המערכת ליצירת פרופילים.

    • כדי לשנות את לוח הזמנים של כתובת catch-all, לוחצים על edit עריכת לוח הזמנים ומשנים את ההגדרות לפי הצורך.
    • כדי למנוע מ-Sensitive Data Protection ליצור פרופיל של משאבים שנכללים בלוח הזמנים הכללי, משביתים את האפשרות יצירת פרופיל של משאבים שלא תואמים ללוח זמנים מותאם אישית.

בחירת תבנית בדיקה

בוחרים באחת מהאפשרויות הבאות, בהתאם לאופן שבו רוצים לספק הגדרת בדיקה. לא משנה באיזו אפשרות תבחרו, Sensitive Data Protection יסרוק את הנתונים שלכם באזור שבו הם מאוחסנים. כלומר, הנתונים לא יוצאים מהאזור שבו הם נוצרו.

אפשרות 1: יצירת תבנית בדיקה

בוחרים באפשרות הזו אם רוצים ליצור תבנית חדשה לבדיקה באזור global.

1. לוחצים על יצירת תבנית חדשה לבדיקה.

2. אופציונלי: כדי לשנות את ברירת המחדל של סוגי המידע, לוחצים על ניהול סוגי מידע.

   מידע נוסף על ניהול של סוגי מידע מובנים ומותאמים אישית זמין במאמר בנושא ניהול סוגי מידע דרך מסוףGoogle Cloud .

   כדי להמשיך, צריך לבחור לפחות סוג מידע אחד.

3. אופציונלי: אפשר להוסיף עוד כללים ולהגדיר סף מהימנות כדי להגדיר עוד את תבנית הבדיקה. מידע נוסף זמין במאמר בנושא הגדרת זיהוי.

כש-Sensitive Data Protection יוצרת את הגדרת הסריקה, היא מאחסנת את תבנית הבדיקה החדשה באזור global.

אפשרות 2: שימוש בתבנית בדיקה קיימת

בוחרים באפשרות הזו אם יש לכם תבניות בדיקה קיימות שאתם רוצים להשתמש בהן.

1. לוחצים על בחירה בתבנית בדיקה קיימת.
2. מזינים את שם המשאב המלא של תבנית הבדיקה שרוצים להשתמש בה. השדה אזור מאוכלס אוטומטית בשם האזור שבו מאוחסנת תבנית הבדיקה.

   תבנית הבדיקה שאתם מזינים צריכה להיות באותו אזור שבו נמצאים הנתונים שאתם רוצים ליצור להם פרופיל.

   כדי לכבד את דרישות שמירת הנתונים, Sensitive Data Protection לא משתמש בתבנית בדיקה מחוץ לאזור שבו התבנית מאוחסנת.

   כדי למצוא את שם המשאב המלא של תבנית בדיקה, פועלים לפי השלבים הבאים:

   1. עוברים לרשימת תבניות הבדיקה. הדף הזה ייפתח בכרטיסייה נפרדת.