이 문서에서는 메타데이터 가져오기 API 메서드와 자체 파이프라인을 사용하여 서드 파티 시스템에서 Dataplex Universal Catalog로 메타데이터를 가져오는 방법을 설명합니다. Dataplex Universal Catalog 메타데이터는 항목과 해당 항목 관점으로 구성됩니다.
대신 Google Cloud관리 조정 파이프라인을 사용하여 메타데이터를 추출하고 가져오려면 관리형 연결 파이프라인을 사용하는 것이 좋습니다. 관리형 연결 파이프라인을 사용하면 메타데이터를 추출하고 메타데이터 가져오기 API 메서드(메타데이터 가져오기 파일)의 입력으로 사용할 수 있는 형식으로 출력을 생성하는 자체 커넥터를 가져올 수 있습니다. 그런 다음 Workflows를 사용하여 파이프라인 태스크를 조정합니다.
다음과 같은 종류의 메타데이터 가져오기 작업을 실행할 수 있습니다.
- 항목 전체 동기화와 관점 증분 가져오기: 커스텀 항목에 지원됩니다.
- 관점만 증분 가져오기: 커스텀 항목 및 시스템 항목에 속하는 관점에 지원됩니다. 커스텀 항목의 경우 선택적 관점과 필수 관점 모두 수정할 수 있습니다. 시스템 항목의 경우 선택적 관점을 수정할 수 있습니다.
대략적인 단계
메타데이터 가져오기 API를 사용하여 메타데이터를 가져오려면 다음과 같은 대략적인 단계를 수행합니다.
작업 범위를 결정합니다.
또한 Dataplex Universal Catalog가 항목 및 관점에 대해 비교 로직과 동기화 모드를 적용하는 방법을 이해합니다.
가져올 데이터를 정의하는 메타데이터 가져오기 파일을 하나 이상 만듭니다.
메타데이터 가져오기 파일을 Cloud Storage 버킷에 저장합니다.
메타데이터 가져오기 작업을 실행합니다.
이 페이지의 단계에서는 사용자가 항목 그룹, 항목 유형, 관점 유형을 포함하여 Dataplex Universal Catalog 메타데이터 개념에 익숙하다고 가정합니다. 자세한 내용은 Dataplex Universal Catalog의 메타데이터 관리 정보를 참조하세요.
시작하기 전에
메타데이터를 가져오기 전에 이 섹션의 태스크를 완료합니다.
필요한 역할
Cloud Storage 버킷에 액세스하는 데 필요한 권한이 Dataplex Universal Catalog 서비스 계정에 있게 하려면 관리자에게 Dataplex Universal Catalog 서비스 계정에 버킷에 대한 스토리지 객체 뷰어(roles/storage.objectViewer) IAM 역할과 storage.buckets.get 권한을 부여해 달라고 요청하세요.
메타데이터 가져오기 작업을 관리하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.
-
전체 항목 동기화 메타데이터 작업에서 항목 및 해당 항목의 관점을 수정:
-
항목 유형 또는 항목 유형이 정의된 프로젝트에 대한 Dataplex 항목 유형 사용자(
roles/dataplex.entryTypeUser) -
관점 유형 또는 관점 유형이 정의된 프로젝트에 대한 Dataplex 관점 유형 사용자(
roles/dataplex.aspectTypeUser)
-
항목 유형 또는 항목 유형이 정의된 프로젝트에 대한 Dataplex 항목 유형 사용자(
-
관점 전용 메타데이터 작업에서 필수 관점을 수정:
-
항목 유형 또는 항목 유형이 정의된 프로젝트에 대한 Dataplex 항목 유형 사용자(
roles/dataplex.entryTypeUser) -
관점 유형 또는 관점 유형이 정의된 프로젝트에 대한 Dataplex 관점 유형 사용자(
roles/dataplex.aspectTypeUser)
-
항목 유형 또는 항목 유형이 정의된 프로젝트에 대한 Dataplex 항목 유형 사용자(
-
관점 전용 메타데이터 작업에서 선택적 관점 수정: 관점 유형 또는 관점 유형이 정의된 프로젝트에 대한 Dataplex 관점 유형 사용자(
roles/dataplex.aspectTypeUser) 관점 전용 메타데이터 작업에서 선택적 관점을 수정할 때는 연결된 항목 유형에 대한 권한이 필요하지 않습니다. -
메타데이터 가져오기 작업 만들기:
-
프로젝트 또는 리소스에 대한 Dataplex 항목 그룹 가져오기 작업자(
roles/dataplex.entryGroupImporter) -
프로젝트 또는 리소스에 대한 Dataplex 항목 및 EntryLink 소유자(
roles/dataplex.entryOwner)
-
프로젝트 또는 리소스에 대한 Dataplex 항목 그룹 가져오기 작업자(
-
메타데이터 작업 보기:
프로젝트에 대한 Dataplex 메타데이터 작업 뷰어(
roles/dataplex.metadataJobViewer) -
메타데이터 작업 만들기, 보기, 취소: 프로젝트에 대한 Dataplex 메타데이터 작업 소유자(
roles/dataplex.metadataJobOwner)
역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.
Google Cloud 리소스 만들기
다음 Google Cloud 리소스를 준비합니다.
- 가져오려는 항목의 항목 그룹을 만듭니다.
- 가져오려는 관점에 대해 관점 유형을 만듭니다.
- 가져오려는 항목에 대해 항목 유형을 만듭니다.
- 관점 전용 메타데이터 작업을 실행하는 경우 가져오려는 관점의 항목을 만듭니다.
- 메타데이터 가져오기 파일을 저장할 Cloud Storage 버킷을 만듭니다.
메타데이터 가져오기 작업 구성요소
메타데이터를 가져올 때 메타데이터 작업의 다음 구성요소를 고려하세요.
- 작업 범위: 작업에 포함할 항목 그룹, 항목 유형, 관점 유형입니다.
- 동기화 모드: 작업의 항목 및 관점이 업데이트되는 방식입니다.
- 메타데이터 가져오기 파일: 작업의 항목 및 관점에 대해 설정할 값을 정의하는 파일입니다. 같은 메타데이터 작업에 메타데이터 가져오기 파일을 여러 개 제공할 수 있습니다. Cloud Storage에 파일을 저장합니다.
- 비교 로직: Dataplex Universal Catalog에서 수정할 항목과 관점을 결정하는 방법입니다.
작업 범위
작업 범위는 항목 그룹과 항목 유형을 정의하고 메타데이터 가져오기 작업에 포함할 관점 유형을 정의합니다. 메타데이터를 가져올 때는 작업 범위 내에서 리소스에 속하는 항목과 관점을 수정합니다.
작업 범위를 정의하려면 다음 안내를 따르세요.
항목 그룹: 작업에 포함할 항목 그룹을 하나 이상 지정합니다. 작업에서 이러한 항목 그룹에 속하는 항목과 관점만 수정합니다. 항목 그룹과 작업은 같은 리전에 있어야 합니다.
항목 유형: 작업에 포함할 하나 이상의 항목 유형을 지정합니다. 작업에서 이러한 항목 유형에 속하는 항목과 관점만 수정합니다. 항목 유형의 위치가 작업의 위치와 일치하거나 항목 유형이 전역적이어야 합니다.
관점 유형: 작업에 포함할 관점 유형을 하나 이상 지정합니다. 작업에서 이러한 관점 유형에 속하는 관점만 수정합니다. 관점 유형의 위치가 작업의 위치와 일치하거나 관점 유형이 전역적이어야 합니다.
작업 범위에는 메타데이터 가져오기 파일에 지정된 모든 항목 유형과 관점 유형이 포함되어야 합니다.
메타데이터 작업을 만들 때 작업 범위를 지정합니다.
동기화 모드
동기화 모드는 메타데이터 가져오기 작업의 항목과 관점이 업데이트되는 방식을 지정합니다. 항목과 관점 모두에 동기화 모드를 제공합니다. 가져오려는 리소스에 따라 다음 동기화 모드 조합이 지원됩니다.
| 목표 | 항목 동기화 모드 | 관점 동기화 모드 | 결과 |
|---|---|---|---|
| 항목과 해당 관점 가져오기 | FULL |
INCREMENTAL |
작업 범위의 모든 항목이 수정됩니다. Dataplex Universal Catalog에 항목이 있지만 메타데이터 가져오기 파일에 포함되지 않은 경우 메타데이터 작업이 실행되면 항목이 삭제됩니다. 메타데이터 가져오기 파일의 |
| 관점만 가져오기 | NONE |
INCREMENTAL |
관점이 작업 범위에 포함되어 있고 메타데이터 가져오기 파일의 |