Ringkasan insight data

Anda dapat menggunakan insight data untuk mempelajari data yang tidak dikenal melalui deskripsi, grafik hubungan, dan kueri SQL yang dihasilkan AI. Fitur Gemini in BigQuery ini menganalisis metadata Anda untuk membantu Anda memahami struktur dan konten data dengan cepat. Insight ini memungkinkan Anda memulai analisis tanpa penyiapan manual yang ekstensif.

Sebelum memulai

Insight data dihasilkan menggunakan Gemini di BigQuery. Untuk mulai membuat insight, Anda harus menyiapkan Gemini di BigQuery terlebih dahulu.

Jenis insight data

Anda dapat membuat insight data di tingkat tabel atau set data:

  • Untuk tabel: Gemini membuat pertanyaan bahasa alami dan padanan SQL-nya untuk membantu Anda memahami data dalam satu tabel. Melalui insight tabel, Anda dapat mendeteksi pola data, anomali, pencilan, atau masalah kualitas dalam tabel. Gemini juga membuat deskripsi tabel dan kolom.

  • Untuk set data dan namespace Apache Iceberg: Gemini menghasilkan grafik hubungan interaktif yang menampilkan hubungan lintas tabel dan kueri SQL lintas tabel untuk membantu Anda memahami hubungan tabel dalam set data. Melalui grafik hubungan, Anda dapat menemukan cara data diperoleh, yang dapat membantu mengatasi masalah kualitas, konsistensi, atau redundansi. Melalui kueri lintas tabel, Anda dapat menemukan hubungan yang lebih luas. Misalnya, Anda dapat menghitung pendapatan menurut segmen pelanggan dengan memanfaatkan data dalam tabel penjualan dan tabel pelanggan.

    Karena namespace Iceberg direpresentasikan secara native sebagai set data di BigQuery, Anda dapat membuat insight tingkat set data yang sama langsung di namespace Iceberg.

Untuk menyelidiki lebih lanjut, Anda dapat mengajukan pertanyaan lanjutan di kanvas data.

Insight tabel

Insight tabel membantu Anda memahami konten, kualitas, dan pola dalam satu tabel BigQuery. Misalnya, dengan membuat kueri yang melakukan analisis statistik, Anda dapat menggunakan insight tabel untuk mendeteksi pola, anomali, dan pencilan data. Insight tabel juga dapat membantu Anda mendeteksi masalah kualitas, terutama saat pemindaian profil data tersedia untuk tabel. Saat Anda membuat insight yang dihasilkan untuk tabel, Gemini menyediakan deskripsi tabel, deskripsi kolom, dan output pemindaian profil berdasarkan metadata tabel. Tersedia opsi-opsi berikut:

  • Generate queries: menyarankan pertanyaan bahasa alami dan memberikan kueri SQL yang sesuai untuk menjawabnya. Hal ini membantu Anda mengungkap pola, menilai kualitas data, dan melakukan analisis statistik tanpa menulis SQL dari awal.
  • Generate descriptions: membuat deskripsi untuk tabel dan kolomnya. Gemini menggunakan output pemindaian profil (jika tersedia) untuk mendasarkan deskripsi yang dihasilkan. Anda dapat meninjau, mengedit, dan memublikasikan deskripsi ini ke Knowledge Catalog untuk meningkatkan visibilitas dan dokumentasi data.

Insight set data

Insight set data membantu Anda memahami hubungan dan jalur gabungan di beberapa tabel dalam set data BigQuery (atau namespace Iceberg yang direpresentasikan sebagai set data), yang memberikan gambaran menyeluruh tentang konten. Saat Anda membuat insight untuk set data atau namespace, Gemini akan memberikan hal berikut:

  • Deskripsi set data: memberikan ringkasan set data yang dibuat AI.
  • Relationships: menampilkan peta visual dan interaktif yang menunjukkan hubungan antar-tabel dalam set data. Anda dapat mengarahkan kursor ke koneksi untuk melihat detail hubungan, seperti kunci gabungan.
  • Tabel hubungan: menampilkan tampilan tabel hubungan antar-tabel, termasuk kunci asing dan gabungan yang disimpulkan. Hubungan dapat ditentukan skema (dari batasan kunci utama dan kunci asing), berbasis penggunaan (dari log kueri), atau Gemini menyimpulkannya berdasarkan nama dan deskripsi tabel serta kolom.
  • Rekomendasi kueri: menawarkan contoh kueri SQL yang menunjukkan cara menggabungkan data di berbagai tabel, berdasarkan hubungan yang diidentifikasi.

Contoh insight data tabel

Pertimbangkan tabel bernama telco_churn dengan kolom seperti CustomerID, Tenure, InternetService, Contract, MonthlyCharges, dan Churn. Tabel berikut menjelaskan skema tabel.

Nama kolom Jenis
CustomerID STRING
Gender STRING
Tenure INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
Contract STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT64
Churn BOOL

Insight data menghasilkan contoh kueri berikut untuk tabel ini:

  • Identifikasi pelanggan yang telah berlangganan semua layanan premium dan telah menjadi pelanggan selama lebih dari 50 bulan.

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • Mengidentifikasi layanan internet yang memiliki pelanggan churn terbanyak.

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  customers DESC
LIMIT 1;

Contoh insight data set data

Pertimbangkan set data yang berisi tabel order_items dan inventory_items. Insight set data dapat menyimpulkan bahwa order_items.inventory_item_id berkaitan dengan inventory_items.id.

Berdasarkan hubungan ini, Gemini mungkin akan membuat kueri lintas tabel berikut:

Identifikasi 5 kategori produk teratas dengan harga jual rata-rata tertinggi dan biaya rata-rata yang sesuai.

SELECT
  ii.product_category,
  AVG(oi.sale_price) AS avg_sale_price,
  AVG(ii.cost) AS avg_cost
FROM
  `ecommerce_data.order_items` AS oi
JOIN
  `ecommerce_data.inventory_items` AS ii
ON oi.inventory_item_id = ii.id
GROUP BY
  ii.product_category
ORDER BY
  avg_sale_price DESC
LIMIT 5;

Alur kerja insight data

Bagian ini menguraikan alur kerja utama yang dapat dilakukan berbagai peran pengguna menggunakan fitur insight data di BigQuery.

Alur kerja untuk konsumen data

Alur kerja ini berfokus pada tugas untuk analis data, analis bisnis, dan pengguna lain yang perlu menemukan, memahami, dan menganalisis data.

  • Memahami tabel BigQuery: memahami skema, konten, dan potensi penggunaan tabel tertentu dengan cepat. Anda dapat melakukan tugas berikut setelah memilih tabel di BigQuery Studio:

    • Tinjau deskripsi tabel dan kolom yang dibuat otomatis.

    • Periksa pertanyaan bahasa alami yang disarankan dan kueri SQL yang setara untuk memahami nuansa data.

    • Sesuaikan dan jalankan kueri yang disarankan untuk memulai analisis.

    Untuk mengetahui informasi selengkapnya tentang cara membuat dan melihat insight tabel, lihat Membuat insight tabel.

  • Menjelajahi seluruh set data atau namespace: temukan hubungan antara tabel dalam set data (atau namespace Iceberg yang direpresentasikan sebagai set data) dan pahami struktur keseluruhannya. Anda dapat melakukan tugas berikut setelah memilih set data di BigQuery Studio:

    • Membuat dan melihat insight set data.

    • Gunakan grafik hubungan interaktif untuk memvisualisasikan koneksi tabel.

    • Analisis tabel hubungan untuk kunci gabungan dan jenis koneksi (ditentukan skema, berbasis penggunaan, disimpulkan LLM).

    • Gunakan kueri SQL lintas tabel yang disarankan untuk mengkueri beberapa tabel secara efektif.

    Untuk mengetahui informasi selengkapnya tentang cara membuat dan melihat insight set data, lihat Membuat insight set data.

Alur kerja untuk produsen data

Alur kerja ini ditujukan untuk data engineer, analytics engineer, dan orang lain yang membangun dan mengelola aset data.

  • Membuat dokumentasi data dasar pengukuran: membuat dan mengelola deskripsi metadata penting secara otomatis. Anda dapat melakukan tugas berikut:

    • Setelah pembuatan atau modifikasi tabel, picu insight data untuk membuat deskripsi tabel dan kolom. Anda juga dapat membuat deskripsi ini dalam skala besar menggunakan API pembuatan metadata otomatis Knowledge Catalog.

    • Tinjau dan sempurnakan teks yang dihasilkan AI untuk memastikan akurasi teknis dan relevansi bisnis.

    Untuk mengetahui informasi selengkapnya tentang cara membuat deskripsi tabel dan kolom, lihat Membuat insight tabel.

  • Meningkatkan pemahaman set data bagi pengguna: Memudahkan konsumen memahami dan menggunakan set data yang disediakan. Anda dapat melakukan tugas-tugas berikut:

    • Buat insight set data untuk set data utama, terutama yang memiliki hubungan kompleks.

    • Sesuaikan insight yang dihasilkan dengan konteks bisnis spesifik organisasi Anda dengan memberikan petunjuk kustom yang menentukan tujuan utama, pengetahuan domain, dan terminologi. Misalnya, Anda dapat menerapkan konvensi penamaan, menentukan definisi bisnis, atau mendeskripsikan kunci gabungan.

    • Pastikan pemindaian profil data berjalan di tabel untuk memberikan konteks yang lengkap demi mendapatkan insight yang lebih akurat dan berguna.

    Untuk mengetahui informasi selengkapnya, lihat Membuat insight set data dan Mendasarkan insight pada hasil pembuatan profil data.

Alur kerja untuk data steward

Alur kerja ini mendukung data steward dan tim tata kelola dalam menjaga integritas dan kepercayaan data.

  • Memvalidasi dan mengaudit metadata yang dihasilkan AI: memastikan akurasi dan keandalan metadata yang dihasilkan oleh insight data. Anda dapat melakukan tugas-tugas berikut:

    • Tinjau secara rutin deskripsi dan hubungan yang dihasilkan oleh fitur insight.

    • Lakukan referensi silang hubungan yang disimpulkan dalam grafik hubungan dengan model data dan logika bisnis yang sudah ada.

    • Tinjau dan perbaiki ketidakakuratan dalam metadata buatan AI.

    Untuk mengetahui informasi selengkapnya, lihat Membuat insight tabel dan Membuat insight set data.

Harga

Untuk mengetahui detail tentang harga fitur ini, lihat Harga Agen Data Cloud.

Kuota dan batas

Untuk mengetahui informasi tentang kuota dan batas untuk fitur ini, lihat Kuota untuk Gemini in BigQuery.

Batasan

Insight data memiliki batasan berikut:

  • Insight data tersedia untuk tabel BigQuery, tabel BigLake, tabel eksternal, tampilan, dan namespace Iceberg.

  • Untuk pelanggan multi-cloud, data dari cloud lain tidak tersedia.

  • Insight data tidak mendukung jenis kolom GEO atau JSON.

  • Insight tidak menjamin kueri akan selalu ditampilkan. Untuk meningkatkan kemungkinan menghasilkan kueri yang lebih menarik, mulai ulang pipeline insight.

  • Untuk tabel dengan kontrol akses tingkat kolom dan izin pengguna yang dibatasi, Anda dapat membuat insight jika memiliki akses baca ke semua kolom tabel. Untuk menjalankan kueri yang dihasilkan, Anda harus memiliki izin yang memadai.

  • Gemini membuat deskripsi kolom untuk maksimum 350 kolom dalam tabel.

  • Untuk insight set data, Anda tidak dapat mengedit hubungan dalam grafik hubungan.

  • Membuat insight set data baru akan menimpa insight sebelumnya untuk set data tersebut.

  • Insight set data tidak mendukung set data tertaut.

Lokasi

Anda dapat menggunakan insight data di semua lokasi BigQuery. Untuk mempelajari tempat Gemini di BigQuery memproses data Anda, lihat Tempat Gemini di BigQuery memproses data Anda.

Langkah berikutnya