העתקת גרסאות של מעבדים ושל מערכי נתונים בין פרויקטים

בדף הזה מוסבר איך להעתיק גרסאות של מעבד מאומן של Document AI מפרויקט אחד לפרויקט אחר, יחד עם סכימת מערך הנתונים ודוגמאות ממקור למעבד היעד. השלבים האלה מאפשרים לייבא את גרסת המעבד, לפרוס אותה ולהגדיר אותה כגרסת ברירת המחדל בפרויקט היעד באופן אוטומטי.

לפני שמתחילים

• מקבלים מזהה פרויקט ב- Google Cloud .
• יש לכם את מזהה המעבד של Document AI.
• יש לכם Cloud Storage.
• שימוש ב-Python: מחברת Jupyter (Vertex AI).
• צריך הרשאות כדי לתת גישה לחשבון השירות בפרויקטים של המקור והיעד.

הליך מפורט

התהליך מפורט בשלבים הבאים.

שלב 1: זיהוי חשבון השירות שמשויך ל-Vertex AI Notebook

!gcloud config list account

פלט:

[core]
account = example@automl-project.iam.gserviceaccount.com

Your active configuration is: [default]

שלב 2: מעניקים את ההרשאות הנדרשות לחשבון השירות

בפרויקט Google Cloud שהוא היעד המיועד להעברה, מוסיפים את חשבון השירות שהתקבל בשלב הקודם כחשבון משתמש ומקצים את שני התפקידים הבאים:

• אדמין של Document AI
• ניהול נפח האחסון

מידע נוסף זמין במאמרים הענקת תפקידים לחשבונות שירות ומפתחות הצפנה בניהול הלקוח (CMEK).

כדי שההעברה תפעל, לחשבון השירות שמשמש להפעלת ה-notebook הזה צריכות להיות ההרשאות הבאות:

• תפקידים בפרויקטים של המקור ושל היעד כדי ליצור את קטגוריית מערך הנתונים, או ליצור אותה אם היא לא קיימת, וגם הרשאות קריאה וכתיבה לכל האובייקטים.
• תפקיד עורך ב-Document AI בפרויקט המקור, כפי שמתואר במאמר בנושא ייבוא גרסת מעבד.

מורידים מפתח JSON לחשבון השירות, כדי שתוכלו לבצע אימות ולקבל הרשאה כחשבון שירות. מידע נוסף מופיע במאמר מפתחות של חשבונות שירות.

השלב הבא:

1. עוברים לחשבון השירות.
2. בוחרים את חשבון השירות שמיועד לבצע את המשימה הזו.
3. עוברים לכרטיסייה Keys, לוחצים על Add Key ובוחרים באפשרות Create new key.
4. בוחרים את סוג המפתח (מומלץ JSON).

5. לוחצים על Create ומורידים לנתיב ספציפי.

6. מעדכנים את הנתיב במשתנה service_account_key בקטע הקוד הבא.

service_account_key='path_to_sa_key.json'

from google.oauth2 import service_account
from google.cloud import storage

# Authenticate the service account
credentials = service_account.Credentials.from_service_account_file(
    service_account_key
)

# pass this credentials variable to all client initializations
# storage_client = storage.Client(credentials=credentials)
# docai_client = documentai.DocumentProcessorServiceClient(credentials=credentials)

שלב 3: ייבוא ספריות

import time
from pathlib import Path
from typing import Optional, Tuple
from google.cloud.documentai_v1beta3.services.document_service import pagers
from google.api_core.client_options import ClientOptions
from google.api_core.operation import Operation
from google.cloud import documentai_v1beta3 as documentai
from google.cloud import storage
from tqdm import tqdm

שלב 4: מזינים את הפרטים

• ‫source_project_id: מציינים את מזהה פרויקט המקור.
• ‫source_location: מציינים את המיקום של מעבד המקור (us או eu).
• ‫source_processor_id: צריך לספק את Google Cloud מזהה המעבד של Document AI.
• ‫source_processor_version_to_import: מזינים את מזהה גרסת המעבד של Document AI של הגרסה שאומנה. Google Cloud
• ‫migrate_dataset: אם רוצים להעביר מערך נתונים ממעבד המקור למעבד היעד, צריך לספק את הערך True. אחרת, צריך לספק את הערך False.TrueFalse ערך ברירת המחדל הוא False.
• ‫source_exported_gcs_path: מציינים את הנתיב ב-Cloud Storage לאחסון קובצי JSON.
• ‫destination_project_id: מציינים את מזהה פרויקט היעד.
• ‫destination_processor_id: מזינים את מזהה המעבד של Document AI, ‏"" או processor_id מפרויקט היעד. Google Cloud

source_project_id = "source-project-id"
source_location = "processor-location"
source_processor_id = "source-processor-id"
source_processor_version_to_import = "source-processor-version-id"
migrate_dataset = False  # Either True or False
source_exported_gcs_path = (
    "gs://bucket/path/to/export_dataset/"
)