Bekerja dengan data Salesforce Data 360 di BigQuery

Dokumen ini menjelaskan cara mengakses dan menganalisis data Salesforce Data 360 di BigQuery menggunakan BigQuery Omni. Dokumen ini menunjukkan cara menautkan set data Data 360 Anda di BigQuery untuk menjalankan kueri, menggabungkan data dengan tabel di Google Cloud, dan mereplikasi data menggunakan tampilan terwujud BigQuery Omni.

Dokumen ini ditujukan untuk pengguna Data 360 yang ingin menggunakan BigQuery untuk analisis mendalam pada data Data 360 mereka, atau menggabungkannya dengan data di Google Cloud untuk analisis lintas cloud—semuanya tanpa membuat dan memelihara pipeline ekstrak, transformasi, dan pemuatan (ETL).

Sebelum memulai

Sebelum menggunakan data Data 360, Anda harus menjadi pengguna Data 360. Jika Kontrol Layanan VPC diaktifkan di project Anda, Anda akan memerlukan izin tambahan.

Peran yang diperlukan

Peran dan izin berikut diperlukan:

  • Pelanggan Analytics Hub (roles/analyticshub.subscriber)
  • BigQuery Admin (roles/bigquery.admin)

Membagikan Data Dari Data 360

Dokumentasi ini menunjukkan cara membagikan data dari Data 360 ke BigQuery - Berbagi Data BYOL - Integrasi Zero-ETL dengan BigQuery.

Untuk mengakses set data Data 360 di BigQuery, Anda harus menautkan set data ke BigQuery terlebih dahulu dengan langkah-langkah berikut:

  1. Di Google Cloud konsol, buka halaman BigQuery.

    Buka BigQuery

  2. Klik Salesforce Data Cloud

    Set data Data 360 akan ditampilkan. Anda dapat menemukan set data berdasarkan nama menggunakan pola penamaan berikut: 

    listing_DATA_SHARE_NAME_TARGET_NAME
    Ganti kode berikut:

    • DATA_SHARE_NAME: nama berbagi data di Data 360.
    • TARGET_NAME: nama target BigQuery di Data 360.

  3. Klik set data yang ingin Anda tambahkan ke BigQuery.

  4. Klik Add dataset to project.

  5. Tentukan nama set data tertaut.

Setelah set data tertaut dibuat, Anda dapat menjelajahi set data dan tabel di dalamnya. Semua metadata tabel diambil dari Data 360 secara dinamis. Semua objek di dalam set data adalah tampilan yang dipetakan ke objek Data 360. BigQuery mendukung tiga jenis objek Data 360:

  • Objek Data Lake (DLO)
  • Objek Model Data (DMO)
  • Objek Insight Terhitung (CIO)

Semua objek ini direpresentasikan sebagai tampilan di BigQuery. Tampilan ini mengarah ke tabel tersembunyi yang disimpan di Amazon S3.

Menggunakan data Data 360

Contoh berikut menggunakan set data bernama Northwest Trail Outfitters (NTO) yang dihosting di Data 360. Set data ini terdiri dari tiga tabel yang mewakili data penjualan online organisasi NTO:

  • linked_nto_john.nto_customers__dll
  • linked_nto_john.nto_products__dll
  • linked_nto_john.nto_orders__dll

Set data lain yang digunakan dalam contoh ini adalah data Point of Sale offline. Data ini mencakup penjualan offline, dan terdiri dari tiga tabel:

  • nto_pos.customers
  • nto_pos.products
  • nto_pos.orders

Set data berikut menyimpan objek tambahan:

  • aws_data
  • us_data

Menjalankan kueri ad-hoc

Dengan BigQuery Omni, Anda dapat menjalankan kueri ad-hoc untuk menganalisis data Data 360 melalui set data yang dilanggan. Contoh berikut menunjukkan kueri sederhana yang mengkueri tabel pelanggan dari Data 360.

SELECT name__c, age__c
  FROM `listing_nto_john.nto_customers__dll`
  WHERE age > 40
  LIMIT 1000;

Menjalankan kueri BigQuery Omni

Kueri BigQuery Omni memungkinkan Anda menggabungkan tabel apa pun di region BigQuery Omni dan tabel di region BigQuery. Untuk mengetahui informasi selengkapnya tentang kueri BigQuery Omni, lihat postingan blog ini. Dalam contoh ini, kita mengambil total penjualan untuk pelanggan bernama john.

-- Get combined sales for a customer from both offline and online sales
USING (
  SELECT total_price FROM `listing_nto_john.nto_orders__dll`
       WHERE customer_name = 'john'
  UNION ALL
  SELECT total_price FROM `listing_nto_john.nto_orders__dll`
       WHERE customer_name = 'john'
) a SELECT SUM(total_price);

Transfer Data BigQuery Omni melalui CTAS

Anda dapat menggunakan Create Table As Select (CTAS) untuk memindahkan data dari tabel Data 360 di region BigQuery Omni ke region US.

-- Move all the orders for March to the US region
CREATE OR REPLACE TABLE us_data.online_orders_march
  AS SELECT * FROM listing_nto_john.nto_orders__dll
    WHERE EXTRACT(MONTH FROM order_time) = 3

Tabel tujuan adalah tabel terkelola BigQuery di region US. Tabel ini dapat digabungkan dengan tabel lain. Operasi ini dikenai biaya egress AWS berdasarkan jumlah data yang ditransfer.

Setelah data dipindahkan, Anda tidak perlu lagi membayar biaya egress untuk kueri apa pun yang berjalan di tabel online_orders_march.

Tampilan terwujud BigQuery Omni

Tampilan Terwujud BigQuery Omni (CCMV) mentransfer data dari region BigQuery Omni ke region BigQuery non-BigQuery Omni secara inkremental. Siapkan CCMV baru yang mentransfer ringkasan total penjualan dari transaksi online dan mereplikasi data tersebut ke region US.

Anda dapat mengakses CCMV dari Ads Data Hub dan menggabungkannya dengan data Ads Data Hub lainnya. CCMV bertindak seperti Tabel Terkelola BigQuery reguler untuk sebagian besar.

Membuat tampilan terwujud lokal

Untuk membuat tampilan terwujud lokal:

-- Create a local materialized view that keeps track of total sales by day

CREATE MATERIALIZED VIEW `aws_data.total_sales`
  OPTIONS (enable_refresh = true, refresh_interval_minutes = 60)
  AS SELECT EXTRACT(DAY FROM order_time) AS date, SUM(order_total) as sales
    FROM `listing_nto_john.nto_orders__dll`
    GROUP BY 1;

Memberikan otorisasi untuk tampilan terwujud

Anda harus memberikan otorisasi untuk tampilan terwujud untuk membuat CCMV. Anda dapat memberikan otorisasi untuk tampilan (aws_data.total_sales) atau set data (aws_data). Untuk memberikan otorisasi untuk tampilan terwujud:

  1. Di Google Cloud konsol, buka halaman BigQuery.

    Buka BigQuery

  2. Buka set data sumber listing_nto_john.

  3. Klik Sharing, lalu klik Authorize Datasets.

  4. Masukkan nama set data (dalam hal ini listing_nto_john), lalu klik Ok.

Membuat tampilan terwujud replika

Buat tampilan terwujud replika baru di region US. Tampilan terwujud direplikasi secara berkala setiap kali ada perubahan data sumber untuk menjaga replika tetap terbaru.

-- Create a replica MV in the us region.
CREATE MATERIALIZED VIEW `us_data.total_sales_replica`
  AS REPLICA OF `aws_data.total_sales`;

Menjalankan kueri pada tampilan terwujud replika

Contoh berikut menjalankan kueri pada tampilan terwujud replika:

-- Find total sales for the current month for the dashboard

SELECT EXTRACT(MONTH FROM CURRENT_DATE()) as month, SUM(sales)
  FROM us_data.total_sales_replica
  WHERE month = EXTRACT(MONTH FROM date)
  GROUP BY 1

Menggunakan data Data 360 dengan INFORMATION_SCHEMA

Set data Data 360 mendukung tampilan INFORMATION_SCHEMA BigQuery. Data dalam tampilan INFORMATION_SCHEMA disinkronkan secara rutin dari Data 360 dan mungkin sudah tidak relevan. Kolom SYNC_STATUS dalam tampilan TABLES dan SCHEMATA menampilkan waktu sinkronisasi terakhir yang selesai, error apa pun yang mencegah BigQuery menyediakan data baru, dan langkah-langkah yang diperlukan untuk memperbaiki error.

Kueri INFORMATION_SCHEMA tidak mencerminkan set data yang baru dibuat sebelum sinkronisasi awal.

Set data Data 360 tunduk pada batasan yang sama dengan set data tertaut lainnya, seperti hanya dapat diakses di INFORMATION_SCHEMA dalam kueri cakupan set data.

Langkah berikutnya