Tentang insight data untuk data terstruktur

Fitur insight data Knowledge Catalog (sebelumnya Dataplex Universal Catalog) otomatis membuat deskripsi, grafik hubungan, dan kueri SQL dari metadata tabel dan set data Anda. Informasi ini membantu Anda memahami struktur, konten, dan hubungan data dengan cepat tanpa penyiapan manual yang ekstensif. Untuk menyelidiki lebih lanjut, Anda dapat mengajukan pertanyaan lanjutan di kanvas data.

Saat menjelajahi tabel baru yang belum dikenal, analis data sering kali kesulitan mengetahui cara mulai menulis kueri. Masalahnya dapat melibatkan ketidakpastian tentang struktur data dan pola utama dalam data. Fitur insight data Knowledge Catalog menawarkan cara otomatis untuk mengeksplorasi dan memahami data Anda. Dengan begitu, Anda dapat menemukan pola, menilai kualitas data, dan melakukan analisis statistik.

Ringkasan

Insight data menggunakan Gemini untuk menganalisis metadata Anda dan membuat hal berikut:

  • Deskripsi: Ringkasan buatan AI yang menjelaskan tujuan set data atau namespace, struktur tabel, dan detail kolom tertentu.

  • Contoh kueri: Kueri GoogleSQL dan Spark SQL yang disesuaikan dan dirancang khusus untuk skema dan konten set data, namespace, atau tabel Anda.

  • Grafik hubungan: Visualisasi yang menunjukkan koneksi dan dependensi antara berbagai tabel dalam set data atau namespace Anda.

Selain itu, insight data mendukung petunjuk kustom (Pratinjau). Petunjuk kustom memungkinkan petugas data menyiapkan cara insight dihasilkan dengan memberikan tujuan bisnis, pengetahuan domain, dan kosakata organisasi tertentu.

Resource yang didukung

Insight data tersedia untuk jenis data terstruktur berikut:

  • Set data, tabel, dan tampilan BigQuery
  • Tabel Lakehouse tanpa batas (termasuk Apache Iceberg, Apache Hive, dan SAP BDC)
  • Tabel eksternal
  • Tabel Katalog REST Apache Iceberg
  • Namespace Apache Iceberg (direpresentasikan sebagai set data di BigQuery)
  • Tabel katalog Apache Hive
  • Tabel SAP Business Data Cloud (BDC)

Contoh eksekusi insight

Insight data otomatis menghasilkan kueri natural language dan padanan SQL-nya berdasarkan metadata tabel. Untuk tabel Iceberg, insight data juga menghasilkan Spark SQL yang setara.

Contoh: Insight SQL

Pertimbangkan tabel bernama telco_churn dengan skema berikut:

Nama kolom Jenis
CustomerID STRING
Gender STRING
Masa bakti INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
Kontrak STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT
Churn BOOLEAN

Berikut adalah beberapa contoh kueri yang dihasilkan insight data untuk tabel ini:

  • Identifikasi pelanggan yang telah berlangganan semua layanan premium dan telah menjadi pelanggan selama lebih dari 50 bulan.

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • Mengidentifikasi layanan internet mana yang memiliki pelanggan churn terbanyak.

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS total_customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  total_customers DESC
LIMIT 1;

  • Mengidentifikasi rasio churn menurut segmen di antara pelanggan yang bernilai tinggi.

    SELECT
  Contract,
  InternetService,
  Gender,
  PaymentMethod,
  COUNT(DISTINCT CustomerID) AS total_customers,
  SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) AS churned_customers,
  (SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) / COUNT(DISTINCT CustomerID))
  * 100 AS churn_rate
FROM
  agentville_datasets.telco_churn
WHERE
  MonthlyCharges > 100
GROUP BY
  Contract,
  InternetService,
  Gender,
  PaymentMethod;

Contoh: Insight Spark SQL

Pertimbangkan tabel Apache Iceberg bernama catalog_metrics dengan skema berikut:

Nama kolom Jenis
detail STRUCT
creation_date DATE
creation_time TIMESTAMP
precise_measure DOUBLE
price DOUBLE
metadata STRUCT
is_active BOOLEAN

Berikut adalah beberapa contoh kueri Spark SQL yang dihasilkan insight data untuk tabel ini:

  • Menghitung jumlah kumulatif precise_measure yang diurutkan berdasarkan creation_time untuk setiap details.field1.

    SELECT
  details.field1,
  creation_time,
  precise_measure,
  SUM(precise_measure) OVER (PARTITION BY details.field1 ORDER BY creation_time) AS cumulative_precise_measure
FROM
  PROJECT_ID.DATASET_ID.catalog_metrics;

  • Dapatkan harga maksimum untuk setiap kombinasi details.field1 dan details.field2, tetapi hanya untuk data yang dibuat dalam 30 hari terakhir.

    SELECT
  details.field1,
  details.field2,
  MAX(price) AS max_price
FROM
  PROJECT_ID.DATASET_ID.catalog_metrics
WHERE
  creation_date >= DATE_SUB(CURRENT_DATE(), 30)
GROUP BY
  details.field1,
  details.field2;

  • Dapatkan rata-rata metadata.value untuk item dengan is_active yang ditetapkan ke false.

    SELECT
  AVG(metadata.value) AS avg_value
FROM
  PROJECT_ID.DATASET_ID.catalog_metrics
WHERE
  is_active = false;

Mode untuk menghasilkan insight data

Saat membuat insight data, Knowledge Catalog menyediakan dua mode:

Mode Deskripsi Penggunaan
Membuat dan memublikasikan

Mempertahankan insight data yang dihasilkan ke Knowledge Catalog sebagai aspek metadata. Anda harus memiliki izin yang diperlukan untuk memublikasikan. Saat Anda menggunakan Buat dan publikasikan, tindakan berikut akan terjadi:

  • Menyimpan deskripsi tabel dan kolom di Knowledge Catalog.
  • Merekam kueri dan pertanyaan yang disarankan sebagai aspek yang dapat digunakan kembali.
  • Membuat insight yang dipublikasikan dapat diakses oleh semua pengguna yang memiliki akses Knowledge Catalog yang sesuai, sehingga memastikan pengetahuan organisasi dibagikan.
  • Memungkinkan Anda mengedit dan menyimpan deskripsi langsung di Knowledge Catalog.

Gunakan mode ini untuk dokumentasi data di seluruh perusahaan yang persisten dan dapat digunakan kembali, atau saat membangun alur kerja tata kelola berbasis katalog.
Generate without publishing

Membuat insight data seperti deskripsi, pertanyaan bahasa alami, dan kueri SQL sesuai permintaan. Generate without publishing tidak memublikasikan insight ke Knowledge Catalog.

Gunakan mode ini untuk eksplorasi ad hoc yang cepat agar tidak mengacaukan katalog.

Harga

Untuk mengetahui detail tentang harga fitur ini, lihat Harga Agen Data Cloud.

Untuk melacak penggunaan token untuk tugas pemindaian insight data dan membuat dasbor kustom di Cloud Monitoring, lihat Memantau penggunaan token insight data.

Kuota dan batas

Untuk mempelajari cara mengelola biaya dan menetapkan batas penggunaan token insight data, lihat Kuota dan batas untuk insight data.

Lokasi

Anda dapat menggunakan insight data di semua lokasi BigQuery. Untuk mempelajari tempat Gemini di BigQuery memproses data Anda, lihat Tempat Gemini di BigQuery memproses data Anda.

Batasan

  • Untuk pelanggan multi-cloud, data dari cloud lain tidak tersedia.
  • Insight data tidak mendukung jenis kolom Geo atau JSON.
  • Insight tidak menjamin kueri akan selalu ditampilkan. Untuk meningkatkan kemungkinan menghasilkan kueri yang lebih menarik, buat ulang insight di BigQuery Studio.

Langkah berikutnya