Melacak silsilah data untuk tabel BigQuery

Melacak silsilah data untuk tabel BigQuery

Dengan silsilah data, Anda dapat melacak dari mana data berasal, cara transformasinya, dan tempat data berpindah di seluruh tabel BigQuery dari waktu ke waktu. Melacak pergerakan ini membantu Anda menjaga kepatuhan, memecahkan masalah data, dan melakukan analisis penyebab utama. Dalam panduan memulai ini, Anda akan menggunakan konsolGoogle Cloud untuk menyalin dua tabel new_york_taxi_trips publik, menggabungkan jumlah tumpangannya ke dalam tabel BigQuery baru, dan melihat grafik visualisasi silsilah. Untuk berinteraksi dengan silsilah data secara terprogram, lihat Library klien Knowledge Catalog dan silsilah data.

Sebelum memulai

Siapkan project:

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

3. Verify that billing is enabled for your Google Cloud project.

4. Enable the Dataplex, BigQuery, and Data Lineage APIs, if any are not already enabled.

   Roles required to enable APIs

   To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

   Enable the APIs

Perhatian: Silsilah data diaktifkan per project, bukan per layanan. Setelah Anda mengaktifkan Data Lineage API, informasi silsilah akan otomatis dilaporkan untuk beberapa layanan Google Cloud dalam project, bergantung pada kontrol silsilah tingkat produknya. Untuk mengetahui detail selengkapnya, lihat Pertimbangan dan batasan silsilah data.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan guna melihat grafik visualisasi silsilah, minta administrator untuk memberi Anda peran IAM berikut:

• Dataplex Catalog Viewer (roles/dataplex.catalogViewer) pada project resource Knowledge Catalog (sebelumnya Dataplex Universal Catalog)
• Data Lineage Viewer (roles/datalineage.viewer) pada project tempat Anda menggunakan BigQuery
• BigQuery Data Viewer (roles/bigquery.dataViewer) di project tempat Anda menggunakan BigQuery

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Menambahkan set data publik ke project Anda

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik database Data Explorer.

   Jika Anda tidak melihat panel kiri, klik Luaskan panel kiri untuk membuka panel.

3. Di panel Data, klik Tambahkan data.

4. Di panel Add data, pilih Public datasets.

5. Di panel Marketplace, telusuri NYC TLC Trips dan klik hasil NYC TLC Trips.

6. Klik View dataset.

Tindakan ini akan menambahkan project set data publik sebagai referensi yang dapat Anda lihat di panel Explorer. Panel detail menampilkan Dataset info, termasuk informasi seperti Dataset ID, Data location, dan tanggal Last modified.

Membuat set data di project Anda

1. Di panel kiri, klik Explorer.

2. Di panel Explorer, pilih project tempat Anda ingin membuat set data.

3. Klik Actions, lalu klik Create dataset.

4. Di halaman Create dataset, di kolom Dataset ID, masukkan: data_lineage_demo. Biarkan kolom lain tetap pada nilai defaultnya.

5. Klik Create dataset.

6. Di panel Explorer, klik Datasets, lalu klik data_lineage_demo yang baru ditambahkan.

Panel detail menampilkan Dataset info.

Menyalin dua tabel yang dapat diakses publik ke set data Anda

1. Buka editor kueri: Di panel detail, di samping tab bernama data_lineage_demo, klik Kueri SQL. Langkah ini akan membuat tab bernama Untitled.

2. Di editor kueri, salin tabel pertama dengan memasukkan kueri berikut. Ganti PROJECT_ID dengan ID project Anda.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
   COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2021`
   

3. Klik Run. Langkah ini membuat tabel pertama, yang disebut nyc_green_trips_2021.

4. Di panel Query results, klik Go to table. Langkah ini menampilkan konten tabel pertama.

5. Di editor kueri, salin tabel kedua dengan mengganti kueri sebelumnya dengan kueri berikut. Ganti PROJECT_ID dengan ID project Anda.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
   COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2022`
   

6. Klik Run. Langkah ini membuat tabel kedua, yang disebut nyc_green_trips_2022.

7. Di panel Query results, klik Go to table. Langkah ini menampilkan konten tabel kedua.

Menggabungkan data ke dalam tabel baru

1. Di editor kueri, masukkan kueri berikut. Ganti PROJECT_ID dengan ID project Anda.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.total_green_trips_22_21`
   AS SELECT vendor_id, COUNT(*) AS number_of_trips
   FROM (
        SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
        UNION ALL
        SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
   )
   GROUP BY vendor_id
   

2. Klik Run. Langkah ini membuat tabel gabungan, yang disebut total_green_trips_22_21.

3. Di panel Query results, klik Go to table. Langkah ini menampilkan tabel gabungan.

Melihat grafik silsilah di Knowledge Catalog

1. Di konsol Google Cloud , buka halaman Search Knowledge Catalog.

   Buka Penelusuran

2. Di kotak Search, masukkan total_green_trips_22_21, lalu klik Search.

3. Dari daftar hasil, klik total_green_trips_22_21. Langkah ini menampilkan tab Details tabel BigQuery.

4. Klik tab Silsilah.

Catatan: Mungkin perlu waktu beberapa saat agar silsilah otomatis menerapkan perubahan ini. Jika Anda belum melihat grafik silsilah, periksa lagi setelah beberapa menit.

Gambar 1. Silsilah data dengan detail node

Dalam grafik silsilah, setiap node persegi panjang mewakili tabel, baik tabel asli, yang disalin, atau yang digabungkan. Anda dapat melakukan hal berikut:

• Untuk menampilkan atau menyembunyikan asal tabel, klik + (Luaskan) atau - (Ciutkan).

• Untuk menampilkan informasi tabel, klik node. Langkah ini menampilkan panel Details node.

• Untuk menampilkan informasi proses, klik . Langkah ini menampilkan panel Details proses yang menampilkan tugas yang mengubah tabel sumber menjadi tabel target.

Gambar 2. Silsilah data dengan detail proses

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Menghapus project

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di konsol Google Cloud , buka halaman Manage resources.

   Buka Kelola resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Menghapus set data

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer.

3. Di panel Explorer, telusuri set data data_lineage_demo yang Anda buat.

4. Klik set data, lalu klik Delete.

5. Konfirmasi tindakan penghapusan Anda.

Langkah berikutnya

• Pelajari silsilah data lebih lanjut.
• Pelajari cara menjalankan kueri BigQuery.
• Pelajari cara menggunakan silsilah data.
• Pelajari cara menggunakan library klien Knowledge Catalog dan Data Lineage.
• Pelajari harga Knowledge Catalog.
• Coba kasus penggunaan Knowledge Catalog.