Data Catalog 작업
Data Catalog는 테이블, 데이터 세트, 뷰, 모델 등 BigQuery 리소스에 대한 메타데이터를 자동으로 카탈로그화하여 BigQuery와 통합됩니다. 이 문서에서는 Data Catalog를 사용하여 이러한 리소스를 검색하고, 데이터 계보를 보고, 태그를 추가하는 방법을 설명합니다.
BigQuery 리소스 검색
Data Catalog를 사용하여 BigQuery 데이터 세트, 테이블 및 별표표시된 프로젝트를 검색하려면 다음 단계를 따르세요.
Google Cloud 콘솔에서 Data Catalog 검색 페이지로 이동합니다.
검색 입력란에 쿼리를 입력한 후 검색을 클릭합니다.
검색 매개변수를 미세 조정하려면 필터 패널을 사용하세요. 예를 들어 시스템 섹션에서 BigQuery 체크박스를 선택하세요. 결과는 BigQuery 시스템으로 필터링됩니다.
Google Cloud 콘솔을 통해 Data Catalog에서 기본 검색을 수행할 수 있습니다. Google Cloud 콘솔에서 검색하는 방법에 대한 자세한 내용은 공개 데이터 세트 열기를 참조하세요.
데이터 계보
데이터 계보는 시스템을 통해 데이터가 이동하는 방식, 즉 데이터의 출처, 데이터가 전달되는 위치, 데이터에 적용되는 변환을 추적할 수 있는 Knowledge Catalog 기능입니다. BigQuery에서 데이터 계보 기능에 직접 액세스할 수 있습니다.
BigQuery 프로젝트에서 데이터 계보를 사용 설정하면 Knowledge Catalog는 다음 작업으로 만든 테이블의 계보 정보를 자동으로 기록합니다.
- 복사 작업
GoogleSQL에서 다음 데이터 정의 언어(DDL) 또는 DML 문을 사용하는 쿼리 작업:
CREATE TABLE(CREATE TABLE AS SELECT문 포함)INSERTUPDATEDELETEMERGE
시작하기 전에
이 섹션에서는 Data Lineage API를 사용 설정하고 이 문서의 각 작업을 수행하는 데 필요한 권한을 사용자에게 부여하는 Identity and Access Management (IAM) 역할을 부여하게 됩니다.
데이터 계보 사용 설정
- 콘솔의 프로젝트 선택기 페이지에서 계보를 추적할 리소스가 포함된 프로젝트를 선택합니다. Google Cloud
- Data Lineage API 및 Dataplex API를 사용 설정합니다.
필요한 IAM 역할
Data Lineage API를 사용 설정하면 계보 정보가 자동으로 추적됩니다.
계보 그래프를 보는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.
- Data Catalog 리소스 프로젝트의 Data Catalog 뷰어 (
roles/datacatalog.viewer) - 데이터 계보가 지원하는 시스템을 사용하는 프로젝트에 대한 데이터 계보 뷰어(
roles/datalineage.viewer) - BigQuery 메타데이터(
roles/bigquery.metadataViewer)
역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.
자세한 내용은 데이터 계보 역할을 참조하세요.
BigQuery에서 계보 그래프 보기
BigQuery에서 데이터 계보 그래프를 보려면 다음 단계를 따르세요.
Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
왼쪽 창에서 탐색기를 클릭합니다.