Pengantar tata kelola data di BigQuery

Kemampuan tata kelola bawaan di BigQuery memungkinkan Anda menemukan, mengelola, memantau, dan mengatur aset data dan AI di seluruh siklus proses data. Tim data dapat mengumpulkan set data, memperkaya metadata, melacak kualitas, dan menerapkan kebijakan kepatuhan sambil membagikan aset dengan aman dalam skala besar.

Kemampuan ini didukung oleh Knowledge Catalog, mesin konteks universal yang selalu aktif dan menggunakan metadata teknis serta semantik bisnis di seluruh aset data Anda untuk membuat grafik konteks pembelajaran mandiri untuk aplikasi downstream dan analis data.

Penemuan data

BigQuery menemukan data di seluruh organisasi di Google Cloud, baik data tersebut berada di BigQuery, Spanner, Cloud SQL, Pub/Sub, maupun Cloud Storage. Metadata akan otomatis diekstrak dan disimpan di Knowledge Catalog. Misalnya, Anda dapat mengekstrak metadata untuk data terstruktur dan tidak terstruktur dari Cloud Storage, dan Anda dapat otomatis membuat tabel BigLake siap kueri dalam skala besar. Hal ini memungkinkan Anda melakukan analisis dengan mesin open source tanpa duplikasi data.

Anda juga dapat mengekstrak dan membuat katalog metadata dari sumber data pihak ketiga menggunakan konektor kustom.

BigQuery menawarkan kemampuan penemuan data berikut:

  • Penelusuran. Menelusuri resource data dan AI di seluruh project dan organisasi. Dalam BigQuery di konsol Google Cloud , gunakan penelusuran semantik (Pratinjau) untuk menelusuri resource menggunakan bahasa sehari-hari. Atau, temukan resource menggunakan penelusuran kata kunci di Knowledge Catalog.
  • Penemuan otomatis data Cloud Storage. Memindai data di bucket Cloud Storage untuk mengekstrak, lalu mengatalogkan metadata. Penemuan otomatis membuat tabel untuk data terstruktur dan tidak terstruktur.
  • Impor metadata. Mengimpor metadata dalam skala besar dari sistem pihak ketiga ke Knowledge Catalog. Anda dapat membangun konektor kustom untuk mengekstrak data dari sumber data, lalu menjalankan pipeline konektivitas terkelola yang mengatur alur kerja impor metadata.
  • Ekspor metadata. Mengekspor metadata dalam skala besar dari Knowledge Catalog. Anda dapat menganalisis metadata yang diekspor dengan BigQuery, atau mengintegrasikan metadata ke dalam aplikasi kustom atau alur kerja pemrosesan terprogram.

Pengelolaan dan penatalayanan data

Untuk meningkatkan visibilitas dan kegunaan data, data steward dan administrator dapat menggunakan BigQuery untuk meninjau, memperbarui, dan menganalisis metadata. Kemampuan pengelolaan dan pengumpulan data BigQuery membantu Anda memastikan bahwa data Anda akurat, konsisten, dan selaras dengan kebijakan organisasi Anda.

BigQuery menawarkan kemampuan pengelolaan dan pengaturan data berikut:

  • Glosarium bisnis. Tingkatkan konteks, kolaborasi, dan penelusuran dengan menentukan terminologi organisasi Anda dalam glosarium. Identifikasi data steward untuk istilah, dan lampirkan istilah ke kolom aset data.
  • Insight data. Gemini menggunakan metadata untuk membuat pertanyaan bahasa alami tentang tabel Anda dan kueri SQL untuk menjawabnya. Insight data ini membantu Anda mengungkap pola, menilai kualitas data, dan melakukan analisis statistik.
  • Pembuatan profil data. Mengidentifikasi karakteristik statistik umum kolom dalam tabel BigQuery untuk memahami dan menganalisis data Anda secara lebih efektif.
  • Kualitas data. Tentukan dan jalankan pemeriksaan kualitas data di seluruh tabel di BigQuery dan Cloud Storage, serta terapkan kontrol data reguler dan berkelanjutan di lingkungan BigQuery.
  • Silsilah data. Melacak pergerakan data melalui sistem Anda: dari mana asalnya, ke mana data diteruskan, dan transformasi apa yang diterapkan padanya. BigQuery mendukung silsilah data di tingkat tabel dan kolom.

Langkah berikutnya untuk seleksi dan data stewardship

Tabel berikut menguraikan langkah-langkah berikutnya yang dapat Anda lakukan untuk mempelajari lebih lanjut fitur kurasi dan data stewardship:

Level pengalaman Jalur pembelajaran
Pengguna cloud baru
  • Jalankan pemindaian profil data untuk mendapatkan insight tentang data Anda, termasuk batas atau rata-rata data Anda.
Pengguna cloud berpengalaman

Kontrol keamanan dan akses

Pengelolaan akses data adalah proses menentukan, menerapkan, dan memantau aturan dan kebijakan yang mengatur siapa yang memiliki akses ke data. Pengelolaan akses memastikan bahwa data hanya dapat diakses oleh orang yang berwenang untuk mengaksesnya.

BigQuery menawarkan kemampuan keamanan dan kontrol akses berikut:

  • Identity and Access Management (IAM). IAM memungkinkan Anda mengontrol siapa yang memiliki akses ke resource BigQuery Anda, seperti project, set data, tabel, dan tampilan. Anda dapat memberikan peran IAM kepada pengguna, grup, dan akun layanan. Peran ini menentukan apa yang dapat mereka lakukan dengan resource Anda.
  • Kontrol akses tingkat kolom dan kontrol akses tingkat baris. Kontrol akses tingkat kolom dan tingkat baris memungkinkan Anda membatasi akses ke kolom dan baris tertentu dalam tabel, berdasarkan atribut pengguna atau nilai data. Kontrol ini memungkinkan Anda menerapkan akses terperinci untuk membantu melindungi data sensitif dari akses yang tidak sah.
  • Pengelolaan transfer data. Dengan Kontrol Layanan VPC, Anda dapat membuat perimeter di sekitar resource Google Cloud dan mengontrol akses ke resource tersebut berdasarkan kebijakan organisasi Anda.
  • Log audit. Log audit memberi Anda catatan mendetail tentang aktivitas pengguna dan peristiwa sistem di organisasi Anda. Log ini membantu Anda menerapkan kebijakan tata kelola data dan mengidentifikasi potensi risiko keamanan.
  • Penyamaran data. Penyamaran data memungkinkan Anda menyamarkan data sensitif dalam tabel, sekaligus tetap mengizinkan pengguna yang berwenang untuk mengakses data di sekitarnya. Penyamaran data juga dapat mengaburkan data yang cocok dengan pola data sensitif, sehingga melindungi dari pengungkapan data yang tidak disengaja.
  • Enkripsi. BigQuery secara otomatis mengenkripsi semua data dalam penyimpanan dan dalam pengiriman, sekaligus memungkinkan Anda menyesuaikan setelan enkripsi untuk memenuhi persyaratan spesifik Anda.

Langkah berikutnya untuk kontrol keamanan dan akses

Tabel berikut menguraikan langkah-langkah selanjutnya yang dapat Anda lakukan untuk mempelajari lebih lanjut fitur kontrol akses:

Level pengalaman Jalur pembelajaran
Pengguna cloud baru
Pengguna cloud berpengalaman
  • Untuk fleksibilitas dan perincian yang lebih besar dalam mengelola izin, pertimbangkan untuk membuat peran khusus yang sesuai dengan kebutuhan Anda.
  • Tambahkan kontrol baris dan kolom untuk membantu mengontrol akses ke baris dan kolom tertentu dalam tabel Anda.
  • Buat perimeter akses di sekitar resource Google Cloud Anda dengan menyiapkan Kontrol Layanan VPC.
  • Tambahkan penyamaran data tingkat kolom ke tabel Anda untuk membagikan informasi melalui organisasi Anda tanpa mengungkapkan data sensitif.
  • Gunakan Sensitive Data Protection untuk memindai data Anda guna menemukan informasi sensitif dan berisiko tinggi, seperti informasi identitas pribadi (PII), data keuangan, dan informasi kesehatan.

Data dan insight yang dibagikan

BigQuery memungkinkan Anda berbagi data dan insight dalam skala besar di dalam dan di seluruh batas organisasi. Platform ini memiliki framework keamanan dan privasi yang kuat melalui platform pertukaran data bawaan. Dengan menggunakan BigQuery sharing, Anda dapat menemukan, mengakses, dan menggunakan library data yang dikurasi oleh berbagai pilihan penyedia data.

BigQuery menawarkan kemampuan berbagi berikut:

  • Bagikan lebih dari sekadar data. Anda dapat membagikan berbagai aset data dan AI seperti set data, tabel, tampilan, streaming real-time BigQuery dengan topik Pub/Sub, prosedur tersimpan SQL, dan model BigQuery ML.
  • Mengakses set data Google. Tingkatkan inisiatif analisis dan ML Anda dengan set data Google dari tren penelusuran, model DeepMind WeatherNext, Google Maps Platform, Google Earth Engine, dan lainnya.
  • Integrasikan dengan prinsip tata kelola data. Pemilik data mempertahankan kontrol atas data mereka dan memiliki kemampuan untuk menentukan dan mengonfigurasi aturan atau kebijakan untuk membatasi akses dan penggunaan.
  • Berbagi data live tanpa salinan. Data dibagikan di tempat tanpa memerlukan integrasi, pemindahan data, atau replikasi, sehingga memastikan analisis didasarkan pada informasi terbaru. Set data tertaut yang dibuat adalah pointer langsung ke aset bersama.
  • Meningkatkan postur keamanan. Anda dapat menggunakan kontrol akses untuk mengurangi akses penyediaan yang berlebihan, termasuk dukungan Kontrol Layanan VPC bawaan.
  • Meningkatkan visibilitas dengan metrik penggunaan penyedia. Penayang data dapat melihat dan memantau penggunaan aset bersama seperti jumlah tugas yang dijalankan, total byte yang dipindai, dan pelanggan untuk setiap organisasi.
  • Berkolaborasi pada data sensitif dengan ruang bersih data. Ruang bersih data menyediakan lingkungan yang ditingkatkan keamanan tempat beberapa pihak dapat berbagi, menggabungkan, dan menganalisis aset data mereka tanpa memindahkan atau mengungkapkan data yang mendasarinya.
  • Built on BigQuery. Anda dapat memanfaatkan skalabilitas dan kemampuan pemrosesan yang masif di BigQuery, sehingga memungkinkan kolaborasi berskala besar.

Langkah berikutnya untuk berbagi

Tabel berikut menguraikan langkah-langkah berikutnya yang dapat Anda lakukan untuk mempelajari lebih lanjut fitur berbagi:

Level pengalaman Jalur pembelajaran
Pengguna cloud baru
  • Pelajari cara membuat dan mengelola pertukaran dan listingan untuk mulai berbagi di dalam atau di luar organisasi Anda.
Pengguna cloud berpengalaman

Langkah berikutnya