Mempelajari BigQuery di konsol Google Cloud

BigQuery di konsol Google Cloud adalah antarmuka grafis tempat Anda dapat membuat dan mengelola resource BigQuery. Anda dapat menggunakan konsol Google Cloud untuk melihat tabel dan set data, membuat dan menjalankan kueri SQL, membangun pipeline, dan melakukan tugas lain untuk membantu Anda mengelola alur kerja BigQuery.

Sebelum memulai

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Aktifkan BigQuery API, jika belum diaktifkan.

    Peran yang diperlukan untuk mengaktifkan API

    Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

    Mengaktifkan API

    Untuk project baru, BigQuery API diaktifkan secara otomatis.

  3. Opsional: Aktifkan penagihan untuk project. Jika Anda tidak ingin mengaktifkan penagihan atau memberikan kartu kredit, langkah-langkah dalam dokumen ini tetap berfungsi. BigQuery menyediakan sandbox untuk melakukan langkah-langkah tersebut. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan sandbox BigQuery.

Buka konsol Google Cloud

  1. Buka konsol Google Cloud .

    Buka konsol

  2. Di toolbar konsol Google Cloud , klik menu navigasi.

  3. Klik Solusi > Semua produk.

  4. Di bagian Analytics, klik BigQuery.

    Halaman Studio BigQuery akan terbuka.

  5. Untuk mengontrol menu navigasi BigQuery, lakukan salah satu hal berikut:

    • Untuk meluaskan menu navigasi, arahkan kursor ke ikon Ikon menu navigasi BigQuery., lalu klik left_panel_open Toggle BigQuery navigation menu.

    • Untuk menciutkan menu navigasi, klik left_panel_close Toggle BigQuery navigation menu.

Anda dapat menggunakan menu navigasi untuk membuka halaman berikut:

  • Ringkasan: memungkinkan Anda menemukan tutorial, fitur, dan referensi.
  • Studio: memungkinkan Anda menampilkan resource BigQuery dan melakukan tugas umum.
  • Search (Pratinjau): memungkinkan Anda menelusuri Google Cloud resource dari BigQuery menggunakan kueri bahasa alami.
  • Agen (Pratinjau): memungkinkan Anda membuat dan melakukan chat dengan agen data yang dirancang untuk menjawab pertanyaan tentang resource BigQuery.

Anda juga dapat menggunakan menu navigasi untuk melakukan tugas tertentu di bagian menu berikut:

Halaman BigQuery Studio

Halaman Studio BigQuery menampilkan resource BigQuery Anda dan memungkinkan Anda melakukan tugas umum. Halaman Studio memiliki komponen berikut:

Komponen BigQuery Studio.

  1. Tab Explorer di panel kiri: gunakan tab Explorer untuk menggunakan set data, koneksi, aset kode, dan resource BigQuery lainnya, serta melihat histori tugas Anda.

  2. Tab Data di panel kiri: gunakan tab Data untuk menjelajahi dan memeriksa hierarki data, termasuk set data, tabel, tampilan, model, rutinitas, grafik properti, dan koneksi, di seluruh project yang disematkan. Aset kode tidak tercantum di panel Data; sebagai gantinya, Anda dapat mengakses aset kode di tab Files untuk satu region atau di tab Explorer di semua region.

    Panel Data juga berisi opsi untuk menambahkan data ke BigQuery. Saat mengklik Tambahkan data, Anda dapat menggunakan kemampuan penelusuran dan pemfilteran untuk menemukan sumber data yang ingin Anda gunakan. Setelah memilih sumber data, Anda dapat melakukan hal berikut berdasarkan kemampuan yang tersedia untuk sumber data Anda:

    • Menyiapkan tabel BigQuery melalui data eksternal (federasi): memungkinkan BigQuery mengakses data eksternal tanpa menyerapnya ke BigQuery. Anda dapat membuat tabel untuk mengakses data eksternal atau membuat koneksi ke sumber eksternal.
    • Memuat data ke BigQuery: memungkinkan Anda memuat data ke BigQuery dengan menyiapkan transfer data atau menggunakan kemampuan partner. Memuat data ke BigQuery direkomendasikan untuk pemrosesan data yang optimal dalam skala besar.
    • Change data capture ke BigQuery: mereplikasi data dari sumber data ke BigQuery dengan menangkap dan menerapkan perubahan. Anda dapat menggunakan aplikasi seperti datastream atau solusi partner untuk menyerap data dari sumber data.
    • Melakukan streaming data ke BigQuery: menyerap data ke BigQuery dengan latensi rendah. Anda dapat menggunakan aplikasi seperti Dataflow, Pub/Sub, atau solusi partner untuk menyerap data dari sumber data.

    Untuk informasi selengkapnya tentang pemuatan data ke BigQuery, lihat Pengantar pemuatan data.

  3. Tab Files di panel kiri: gunakan tab Files untuk mengatur aset kode seperti kueri tersimpan dan notebook menggunakan folder. Untuk mengetahui informasi selengkapnya, lihat Mengatur aset kode dengan folder.

  4. Tab Source control di panel kiri (Pratinjau): gunakan tab Source control untuk menyimpan kode, mengedit file, dan melacak perubahan menggunakan kontrol versi melalui repositori atau dengan menggunakan repositori jarak jauh berbasis Git. Untuk mengetahui informasi selengkapnya, lihat Pengantar repositori.

  5. Tab Beranda: gunakan tab Beranda untuk melihat referensi berikut:

    • Bagian Check out what's new in Studio yang mencantumkan fitur baru di BigQuery Studio. Anda dapat mengklik Coba untuk melihat fitur. Jika bagian tidak terlihat, klik What's new in Studio untuk meluaskan bagian.
    • Bagian Create new yang memiliki opsi untuk membuat kueri SQL, notebook, notebook Apache Spark, data canvas, file persiapan data, pipeline, atau tabel baru.
    • Bagian Terbaru tempat Anda dapat melihat 10 resource yang terakhir diakses. Resource ini mencakup tabel, kueri tersimpan, model, dan rutinitas.
    • Bagian Coba dengan template yang memungkinkan Anda menggunakan template untuk mulai membuat kueri data dan menggunakan notebook.
    • Bagian Menambahkan data Anda sendiri yang membantu Anda mulai memuat data ke BigQuery.

  6. Editor kueri: gunakan editor kueri untuk membuat dan menjalankan kueri interaktif. Anda juga dapat melihat hasilnya di panel Query results yang terbuka setelah Anda menjalankan kueri. Dalam hasil kueri, panel Recent khusus sesi memungkinkan Anda melihat hasil terbaru.

Menjelajahi halaman Studio

Halaman Studio di BigQuery adalah titik pusat untuk melihat resource BigQuery Anda dan untuk melakukan tugas umum seperti membuat set data serta membuat dan menjalankan notebook.

Untuk menjelajahi halaman Studio, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman BigQuery Studio.

    Buka Studio

    Atau, masukkan URL berikut di browser Anda:

    https://console.cloud.google.com/bigquery

    Halaman Studio akan terbuka di project yang terakhir Anda akses.

  2. Di panel kiri, klik tab Explorer.

    Panel Explorer mencantumkan berbagai aset kode dan resource data, serta memungkinkan Anda menelusuri resource BigQuery.

  3. Buka project bigquery-public-data, klik Toggle node untuk meluaskannya, lalu klik Datasets. Tab baru akan terbuka di panel detail yang menampilkan daftar semua set data dalam project.

    Set data publik BigQuery disimpan di BigQuery dan disediakan untuk publik melalui Program Set Data Publik Google Cloud .

  4. Dalam daftar, klik set data america_health_rankings.

  5. Di tab Overview, lihat resource yang disimpan dalam set data, seperti tabel, model, dan rutinitas.

  6. Klik tab Details. Tab ini menampilkan semua detail set data, termasuk informasi metadata.

  7. Untuk membuka berbagai tab dan resource, gunakan breadcrumb seperti yang ditunjukkan dalam contoh berikut:

    Breadcrumb di panel detail.

  8. Di panel Explorer, klik Job history. Tindakan ini akan membuka daftar histori tugas di tab baru:

    Tab untuk histori pribadi dan histori project serta kueri tersimpan.

    Setiap kali Anda memuat, mengekspor, membuat kueri, atau menyalin data, BigQuery akan otomatis membuat, menjadwalkan, dan menjalankan tugas yang melacak progres tugas.

    1. Untuk melihat detail pekerjaan Anda sendiri, klik Histori pribadi.

    2. Untuk melihat detail tugas terbaru di project Anda, klik Project history.

  9. Di panel kiri, klik tab fork_right Source control (Pratinjau).

    Anda dapat menggunakan repositori untuk melakukan kontrol versi pada file yang Anda gunakan di BigQuery. BigQuery menggunakan Git untuk mencatat perubahan dan mengelola versi file.

    Anda dapat menggunakan ruang kerja dalam repositori untuk mengedit kode yang disimpan di repositori. Saat Anda mengklik workspace di panel Source control, ruang kerja tersebut akan terbuka di tab di panel detail.

  10. Di panel kiri, klik Files.

    Tab Files memungkinkan Anda membuat folder pengguna dan tim yang menyimpan dan mengatur aset kode Anda.

  11. Klik tab Beranda.

    Tab Home menyediakan link dan template yang memungkinkan Anda mulai menggunakan BigQuery.

    Jika Anda menutup tab Home, Anda dapat membukanya dengan mengklik Home di tab Explorer.

  12. Klik editor kueri. Tab ini diberi label search_insights Untitled query.

    Anda menggunakan editor kueri untuk membuat kueri SQL, menjalankan kueri SQL, dan melihat hasilnya.

    Jika Anda menutup editor kueri, Anda dapat membukanya dengan mengklik tab Home, lalu di bagian Create new, klik Kueri SQL.

Menggunakan tab di Studio

Setiap kali Anda memilih resource atau mengklik Kueri SQL di panel detail, tab baru akan terbuka. Jika lebih dari satu tab terbuka, Anda dapat membagi tab menjadi dua panel dan melihatnya secara berdampingan.

Mencegah tab diganti

Untuk mengurangi jumlah tab, mengklik resource akan membukanya di tab yang sama. Untuk membuka referensi di tab terpisah, ikuti langkah-langkah berikut:

  1. Tekan Ctrl (atau Command di macOS) dan klik resource.

  2. Atau, klik dua kali nama tab. Nama berubah dari font miring menjadi font biasa.

  3. Jika tidak sengaja mengganti halaman saat ini, Anda dapat menemukannya dengan mengklik tab_recent Tab terbaru di panel detail.

Memisahkan dan menggabungkan tab

Untuk memisahkan tab menjadi dua panel, ikuti langkah-langkah berikut:

  1. Di samping nama tab, klik Buka menu.

  2. Pilih salah satu opsi berikut:

    • Untuk menempatkan tab yang dipilih di panel kiri, pilih Pisahkan tab ke kanan.

    • Untuk menempatkan tab yang dipilih di panel kanan, pilih Pisahkan tab ke kanan.

  3. Untuk memisahkan tab, pilih Buka menu di salah satu tab yang terbuka, lalu pilih Pindahkan tab ke panel kiri atau Pindahkan tab ke panel kanan.

Membuat kueri data menggunakan tab terpisah

Untuk memisahkan tab saat membuat kueri tabel, ikuti langkah-langkah berikut:

  1. Di menu Penjelajah, klik tabel yang ingin Anda buat kueri.

  2. Klik Kueri, lalu klik Di tab baru atau Di tab pemisahan :

    Opsi untuk membuat kueri tabel di tab baru atau pemisahan.

  3. Klik nama kolom yang ingin Anda kueri:

    Tambahkan nama kolom ke kueri di tab pemisahan.

Image berikut menampilkan panel detail dengan dua tab yang terbuka. Satu tab memiliki kueri SQL, dan tab lainnya menampilkan detail tentang tabel.

Panel detail dengan dua tab terbuka.

Memindahkan tab antarpanel

Untuk memindahkan tab dari satu panel ke panel lainnya, ikuti langkah-langkah berikut:

  1. Di samping nama tab, klik Buka menu.

  2. Pilih Pindahkan tab ke panel kanan atau Pindahkan tab ke panel kiri (opsi mana saja yang tersedia).

Tutup semua tab lainnya

Untuk menutup semua tab kecuali satu tab, ikuti langkah-langkah berikut:

  1. Di samping nama tab, klik Buka menu.

  2. Pilih Tutup tab lain.

Halaman Ringkasan

Halaman Ringkasan BigQuery adalah hub untuk menemukan tutorial, fitur, dan referensi guna membantu Anda mengoptimalkan BigQuery. Gemini in BigQuery menyediakan jalur terpandu untuk pengguna dari semua tingkat keahlian, baik Anda menjalankan kueri pertama maupun menjelajahi kemampuan AI/ML lanjutan.

Anda dapat menggunakan halaman Ringkasan untuk menemukan referensi yang diatur berdasarkan peran atau minat Anda, seperti analisis data atau data science. Referensi ini memungkinkan Anda menemukan konten yang paling relevan untuk memulai dengan cepat.

Mempelajari halaman Ringkasan

  1. Di konsol, buka halaman Overview.

    Buka Ringkasan

    Anda juga dapat membuka halaman Ringkasan BigQuery dengan memasukkan URL berikut di browser:

    https://console.cloud.google.com/bigquery/overview

  2. Tinjau bagian berikut di halaman Overview:

    • Bagian Introduction: memberikan ringkasan video singkat tentang kemampuan BigQuery.

    • Bagian Memulai: dirancang untuk belajar sambil melakukan. Di sini, Anda dapat meluncurkan panduan interaktif yang membantu Anda mempelajari cara menggunakan fitur BigQuery.

    • Bagian Cari tahu lebih lanjut: menampilkan catatan rilis BigQuery sehingga Anda dapat melihat pengumuman dan update fitur terbaru.

    • Bagian Jelajahi berbagai kemungkinan: menyediakan tutorial mendalam dan peluang pembelajaran untuk fitur tertentu.

Menyesuaikan halaman Ringkasan

Anda dapat menyesuaikan halaman Ringkasan untuk menampilkan atau menyembunyikan informasi yang relevan dengan tugas atau peran Anda.

  1. Di halaman Ringkasan, buka panel filter.

    Kolom filter di halaman Ringkasan.

  2. Klik opsi yang paling sesuai dengan tugas atau peran Anda saat ini:

    • Analisis data
    • Data science
    • Data engineering
    • Administrasi data

    Memilih tugas akan mengubah konten di bagian Introduction, Get started, dan Explore Possibilities secara dinamis untuk menampilkan konten yang paling relevan.

  3. Opsional: Untuk menyesuaikan konten di halaman Ringkasan dengan kebutuhan spesifik Anda, sembunyikan setiap kartu:

    1. Di kartu, klik More options.

    2. Pilih Sembunyikan kartu. Preferensi Anda untuk kartu tersembunyi disimpan per pengguna.

    3. Untuk memperlihatkan kartu, di akhir bagian, klik Tampilkan konten tersembunyi.

  4. Jika seluruh bagian tidak relevan, klik untuk menciutkannya. Preferensi pengguna Anda untuk bagian yang diciutkan akan disimpan.

Halaman Penelusuran

Halaman Search (Pratinjau) memungkinkan Anda menelusuri Google Cloud resource dari BigQuery menggunakan kueri bahasa alami.

Untuk mengetahui informasi tentang cara memilih untuk menggunakan halaman Search, lihat Menelusuri resource.

Halaman Agen

Halaman Agents (Pratinjau) adalah lokasi pusat untuk membuat dan melakukan chat dengan agen data yang dirancang untuk menjawab pertanyaan tentang resource BigQuery.

Agen data berisi metadata tabel dan petunjuk pemrosesan kueri khusus kasus penggunaan yang menentukan cara terbaik untuk menjawab pertanyaan pengguna tentang kumpulan tabel yang Anda pilih. Pengguna dapat melakukan percakapan dengan agen data untuk mengajukan pertanyaan tentang data BigQuery menggunakan bahasa alami. Untuk mengetahui informasi selengkapnya, lihat Membuat agen data.

Untuk mengetahui informasi tentang cara membuat agen dan menggunakan analisis percakapan, lihat Analisis percakapan di BigQuery.

Batasan

Konsol BigQuery Google Cloud tidak mendukung Virtual Private Cloud atau Private Service Connect.

Memecahkan masalah konsol Google Cloud BigQuery

Jika Anda mengalami masalah di konsol Google Cloud saat menggunakan BigQuery, seperti halaman tidak dimuat, respons lambat, atau fitur tidak ada, coba langkah-langkah pemecahan masalah berikut.

Perbaikan browser umum

Banyak masalah konsol Google Cloud disebabkan oleh konfigurasi browser lokal atau data yang di-cache.

Persyaratan konektivitas dan firewall

Jika Anda bekerja di balik VPN atau proxy perusahaan, hal ini dapat memblokir panggilan API yang diperlukan oleh konsol. Pastikan administrator jaringan Anda mengizinkan domain berikut:

  • https://cloudconsole-pa.clients6.google.com
  • https://clients6.google.com
  • https://cloudusersettings-pa.clients6.google.com

Gejala umum endpoint API yang diblokir mencakup indikator progres yang berputar untuk saran pelengkapan otomatis atau error izin meskipun memiliki peran IAM yang benar.

Meningkatkan performa untuk project besar

Jika project Anda berisi banyak set data atau tabel, tab Explorer dapat dimuat dengan lambat.

  • Gunakan parameter pemuatan minimal: Anda dapat mencegah pohon resource melakukan pramuat dengan menambahkan ?minimal=true ke URL Anda. Contoh:

    https://console.cloud.google.com/bigquery?minimal=true&project=PROJECT_ID

  • Lepaskan pin project yang tidak digunakan: hapus project yang disematkan yang tidak Anda gunakan secara aktif untuk mengurangi beban pada tab Explorer.

  • Memaksa pemuatan ulang metadata: jika Anda mengubah tabel melalui API/CLI dan perubahan tidak ditampilkan di konsol, lakukan pemuatan ulang paksa (Ctrl+Shift+R atau Cmd+Shift+R). Gunakan kueri INFORMATION_SCHEMA sebagai sumber kebenaran yang pasti.

Memecahkan masalah peta dan diagram

  • Geospasial (TinyMap): tab visualisasi geospasial hanya tersedia jika hasil kueri Anda berisi kolom GEOGRAPHY. Visualisasi peta dibatasi hingga maksimum 20.000 fitur atau 1 juta verteks.
  • Diagram: hasil harus berisi minimal satu kolom numerik untuk membuat diagram. Jika peringatan "Tidak ada data untuk ditampilkan" muncul, periksa nilai null di dimensi sumbu X yang dipilih.

Memecahkan masalah silsilah dan pembuatan profil data

  • Penundaan silsilah: informasi silsilah data tidak bersifat real-time. Tunggu hingga 30 menit agar data silsilah disinkronkan.
  • API yang diperlukan: pastikan Dataplex API (dataplex.googleapis.com) dan Data Catalog API (datacatalog.googleapis.com) diaktifkan di project Anda.

Memecahkan masalah BigQuery Studio dan kueri tersimpan

  • Batas migrasi kueri tersimpan: jika Anda memiliki lebih dari 2.500 kueri tersimpan, alat migrasi otomatis tidak dapat memprosesnya. Hubungi Cloud Customer Care untuk meminta migrasi manual.
  • API yang diperlukan: menyimpan skrip dan notebook di BigQuery Studio memerlukan Dataform API (dataform.googleapis.com) untuk diaktifkan di project Anda.

Hubungi dukungan

Jika masalah berlanjut, kumpulkan informasi berikut sebelum membuat tiket dukungan:

  1. File HAR: mencatat log permintaan jaringan saat mereproduksi masalah (menggunakan tab Jaringan di alat developer browser dengan mencentang Pertahankan Log).
  2. Log konsol: mencatat error JavaScript yang ditampilkan di konsol developer browser (Ctrl+Shift+I > Console).
  3. Project ID: ID project tempat Anda bekerja.
  4. Nomor pelacakan: ID pelacakan yang ditampilkan di banner error.

Langkah berikutnya