Pengantar BigQuery Data Transfer Service
BigQuery Data Transfer Service memungkinkan Anda mengotomatiskan transfer data terjadwal dan terkelola ke BigQuery. Setelah mengonfigurasi transfer data, BigQuery Data Transfer Service secara otomatis akan memuat data ke BigQuery secara rutin. Anda juga dapat melakukan pengisian ulang data untuk melengkapi data yang kurang atau hilang karena gangguan layanan, melakukan salinan set data, dan menjalankan kueri terjadwal. Anda tidak dapat menggunakan BigQuery Data Transfer Service untuk mentransfer data keluar dari BigQuery.
Untuk mengonfigurasi dan mengelola transfer, Anda dapat menggunakan konsolGoogle Cloud , alat command line bq, atau BigQuery Data Transfer Service API. Halaman Pipelines & Connections juga menyediakan alur kerja yang disederhanakan (pratinjau) untuk membuat transfer. Untuk menerima update layanan, berlanggananlah ke grup pengumuman DTS BigQuery.
Sumber data yang didukung
BigQuery Data Transfer Service mendukung pemuatan data dari sumber data berikut:
| Kategori | Sumber data |
|---|---|
| Penyimpanan cloud | Layanan Simple Storage Amazon (Amazon S3) |
| Penyimpanan cloud | Azure Blob Storage |
| Penyimpanan cloud | Cloud Storage |
| Database dan data warehouse | Amazon Redshift |
| Database dan data warehouse | Apache Hive Metastore |
| Database dan data warehouse | Microsoft SQL Server (Pratinjau) |
| Database dan data warehouse | MySQL |
| Database dan data warehouse | Oracle |
| Database dan data warehouse | PostgreSQL |
| Database dan data warehouse | Snowflake |
| Database dan data warehouse | Teradata |
| Layanan Google | Campaign Manager |
| Layanan Google | Comparison Shopping Service (CSS) Center (Pratinjau) |
| Layanan Google | Display & Video 360 |
| Layanan Google | Google Ad Manager |
| Layanan Google | Google Ads |
| Layanan Google | Google Analytics 4 |
| Layanan Google | Google Merchant Center (Pratinjau) |
| Layanan Google | Google Play |
| Layanan Google | Search Ads 360 |
| Layanan Google | Channel YouTube |
| Layanan Google | Pemilik Konten YouTube |
| Platform pemasaran | Facebook Ads |
| Platform pemasaran | HubSpot (Pratinjau) |
| Platform pemasaran | Klaviyo (Pratinjau) |
| Platform pemasaran | Mailchimp (Pratinjau) |
| Platform pembayaran | PayPal (Pratinjau) |
| Platform pembayaran | Shopify (Pratinjau) |
| Platform pembayaran | Stripe (Pratinjau) |
| Platform SaaS | Salesforce |
| Platform SaaS | Salesforce Marketing Cloud |
| Platform SaaS | ServiceNow |
Pertimbangan SLO pengiriman data
SLO Pengiriman Data berlaku untuk transfer data yang dijadwalkan secara otomatis menggunakan BigQuery Data Transfer Service dari sumber dalam Google Cloud.
Untuk transfer data yang melibatkan sumber pihak ketiga atau non-Google Cloud , pemadaman layanan dengan sumber ini dapat memengaruhi performa BigQuery Data Transfer Service. Oleh karena itu, SLO Pengiriman Data tidak berlaku untuk transfer data BigQuery Data Transfer Service dari sumber non-Google Cloud .
Region yang didukung
Seperti BigQuery, BigQuery Data Transfer Service adalah resource multi-regional, dengan banyak region tunggal tambahan yang tersedia.
Lokalitas set data BigQuery ditentukan saat Anda membuat set data tujuan untuk menyimpan data yang ditransfer oleh BigQuery Data Transfer Service. Saat menyiapkan transfer, konfigurasi transfer itu sendiri ditetapkan ke lokasi yang sama dengan set data tujuan. BigQuery Data Transfer Service memproses dan menata data di lokasi yang sama dengan set data tujuan.
BigQuery Data Transfer Service mendukung transfer data dari region mana pun tempat data Anda disimpan ke lokasi mana pun tempat set data tujuan Anda berada.
Untuk mengetahui informasi selengkapnya tentang transfer dan kompatibilitas region untuk BigQuery Data Transfer Service, baca Lokasi dan transfer set data. Guna mengetahui wilayah yang didukung untuk BigQuery, lihat Lokasi set data.
Menggunakan slot pemesanan dengan transfer data
Tugas yang dipicu oleh BigQuery Data Transfer Service hanya menggunakan slot pemesanan jika project, folder, atau organisasi ditetapkan ke pemesanan dengan salah satu jenis pekerjaan berikut:
- Tugas kueri menggunakan
QUERY - Tugas pemuatan menggunakan
PIPELINE
Harga
Untuk mengetahui informasi tentang harga BigQuery Data Transfer Service, lihat halaman Harga.
Setelah data ditransfer ke BigQuery, harga standar penyimpanan dan kueri BigQuery berlaku.
Kuota
Untuk mengetahui informasi tentang kuota BigQuery Data Transfer Service, lihat halaman Kuota dan batas.
Memecahkan masalah konfigurasi transfer
Untuk mengetahui informasi tentang cara menyelesaikan masalah terkait BigQuery Data Transfer Service, lihat Memecahkan masalah konfigurasi transfer.
Langkah berikutnya
- Untuk mempelajari cara melakukan transfer, lihat dokumentasi untuk sumber data Anda.