Google menggunakan teknologi AI untuk menerjemahkan konten ke dalam bahasa pilihan Anda. Terjemahan AI mungkin mengandung kesalahan.

Ringkasan logging percakapan

Logging percakapan analisis percakapan memungkinkan Anda merekam percakapan agen data dalam tabel BigQuery di project Anda, sehingga Anda dapat meninjau kualitas jawaban, melacak adopsi, dan memantau biaya di seluruh agen analisis percakapan. Untuk setiap giliran, log akan mencatat pertanyaan pengguna, jawaban agen, latensi, penggunaan token model, dan ID yang Anda perlukan untuk mengelompokkan giliran berdasarkan agen, percakapan, dan pengguna. Baris ditulis menggunakan skema BigQuery Agent Analytics melalui BigQuery Storage Write API (gRPC).

Yang dicatat ke dalam log

Setiap giliran yang dicatat ke dalam log akan menulis beberapa baris peristiwa (events) ke tabel tujuan yang mencatat informasi berikut:

Pertanyaan pengguna.
Jawaban agen: teks, insight, asumsi, pertanyaan lanjutan yang disarankan, sumber kutipan, dan nama hasil data atau diagram.
Latensi per giliran.
Penggunaan token model, versi model, dan alasan penyelesaian (alasan model berhenti menghasilkan token) untuk setiap panggilan model.
ID agen data dan ID percakapan, sehingga Anda dapat menganalisis beberapa agen dalam satu tabel.
ID pengguna. Untuk informasi selengkapnya tentang ID pengguna, lihat Identitas pengguna.
Detail status dan error.

Yang tidak dicatat ke dalam log

Logging percakapan tidak mencatat hal berikut:

Kueri SQL yang dijalankan agen: log berisi jawaban akhir serta nama hasil data dan diagram yang direferensikan, tetapi tidak berisi kueri yang menghasilkannya. Pengecualiannya adalah saat pengguna secara eksplisit meminta agen untuk menampilkan atau menjelaskan SQL; dalam hal ini, SQL dapat muncul dalam teks jawaban.
Panggilan alat agen: setiap panggilan model menulis satu baris LLM_RESPONSE, termasuk panggilan saat model memutuskan untuk menjalankan alat. Sebelum baris ditulis, output model akan dihapus, termasuk nama dan argumen alat apa pun yang dipanggilnya. Hanya penggunaan token, versi model, dan alasan penyelesaian yang disimpan.
Masukan pengguna: masukan suka atau tidak suka tidak dicatat dalam log.

Beberapa percakapan tidak dicatat sama sekali, seperti percakapan di panel pratinjau BigQuery Studio. Untuk mengetahui informasi selengkapnya tentang platform percakapan yang tidak didukung, lihat Batasan.

Cara kerja logging percakapan

Saat pengguna melakukan chat dengan agen data yang mengaktifkan logging percakapan, analisis percakapan akan memproses setiap giliran melalui tahap-tahap berikut:

Mengonfigurasi: pemilik agen mengaktifkan logging percakapan dan memilih set data tujuan dan nama tabel yang ada dalam project agen di BigQuery Studio.
Bertanya: pengguna mengirim pertanyaan ke agen. Di BigQuery Studio, pengguna akan melihat pemberitahuan bahwa percakapan mereka dicatat dalam log.
Pemeriksaan privasi: sebelum agen mulai mengerjakan giliran, pemeriksaan privasi membaca metadata tabel sumber pengetahuan agen menggunakan kredensial pengguna yang melakukan chat. Pemeriksaan ini mengonfirmasi bahwa tidak ada tabel yang menggunakan keamanan tingkat baris (kebijakan akses baris), keamanan tingkat kolom (tag kebijakan), atau penyamaran data dinamis. Jika pemeriksaan menemukan kebijakan atau tidak dapat mengonfirmasi bahwa tidak ada kebijakan, giliran tidak akan dicatat, dan agen tetap menjawab pertanyaan pengguna.
Answer: agen menjawab pengguna seperti biasa.
Tulis: agen layanan Conversational Analytics API project (service-PROJECT_NUMBER@gcp-sa-geminidataanalytics.) menulis baris log ke tabel tujuan melalui Storage Write API (gRPC). Pada giliran pertama yang dicatat, agen layanan akan membuat tabel jika belum ada.
Kueri: baris biasanya muncul dalam beberapa detik setelah jawaban selesai. Waktu pengiriman tidak dijamin.

Error logging tidak pernah menggagalkan giliran, dan pemeriksaan privasi serta penulisan log dapat menambah latensi. Izin yang tidak ada pada set data log, set data yang tidak ada, atau kuota yang habis tidak akan menggagalkan permintaan chat. Analisis percakapan tidak melaporkan kegagalan logging di antarmuka chat atau di Cloud Logging.

Privasi, tata kelola data, dan keamanan

Saat Anda mengaktifkan logging percakapan untuk agen, tinjau cara pemberitahuan pengguna akhir, akses data, enkripsi, dan kontrol jaringan diterapkan ke log Anda.

Pemberitahuan pengguna akhir dan konten yang dicatat dalam log

Pemberitahuan dan aturan berikut mengatur apa yang dicatat oleh logging percakapan dan siapa yang dapat melihat data yang dicatat:

Pemberitahuan pengguna akhir di BigQuery Studio: saat logging percakapan diaktifkan untuk agen, pengguna yang melakukan percakapan dengan agen di BigQuery Studio akan melihat pemberitahuan berikut setiap kali logging percakapan diaktifkan, termasuk di layar percakapan baru sebelum pengguna mengirim perintah pertama:

Semua perintah dan respons dicatat ke BigQuery dan dapat diakses oleh pengguna yang memiliki izin set data.
Tanggung jawab Anda saat menggunakan API: jika Anda mengaktifkan logging percakapan (logging rekaman aktivitas) di agen data dan menyediakan agen tersebut untuk pengguna akhir melalui aplikasi atau integrasi Anda sendiri, Google tidak dapat menampilkan pemberitahuan kepada pengguna tersebut. Anda bertanggung jawab atas pemberitahuan, pengungkapan, atau izin apa pun yang berlaku untuk percakapan yang dicatat dalam log berdasarkan hukum yang berlaku dan perjanjian Anda dengan pengguna akhir. Untuk mengetahui informasi selengkapnya, lihat Keamanan, privasi, risiko, dan kepatuhan untuk Conversational Analytics API.
Isi log, dan siapa yang dapat melihatnya: tabel tujuan menyimpan konten tanya jawab berdasarkan aturan privasi berikut:
- Pertanyaan dan jawaban lengkap: jawaban dapat menyertakan nilai yang ditampilkan dari sumber informasi Anda. Siapa pun yang dapat membaca tabel log dapat melihat data yang ditampilkan agen kepada pengguna, termasuk data yang tidak dapat mereka baca di tabel sumber. Berikan akses baca ke set data log hanya kepada orang yang seharusnya melihat konten ini.
- ID pengguna dan lokasi penulisan: kolom user_id mengidentifikasi pemanggil yang mengajukan pertanyaan (lihat Identitas pengguna), dan baris hanya ditulis ke tujuan yang Anda konfigurasi di project agen.
- Tabel dengan keamanan tingkat baris, keamanan tingkat kolom, atau penyamaran data: jika sumber pengetahuan agen menggunakan keamanan tingkat baris (kebijakan akses baris), keamanan tingkat kolom (tag kebijakan), atau penyamaran data dinamis, responsnya tidak akan dicatat ke dalam log. Pemeriksaan privasi akan melewati tabel di bigquery-public-data dan hanya melihat tabel dan tampilan yang Anda pilih sebagai sumber pengetahuan, bukan tabel di balik tampilan:
  - Tampilan di atas tabel yang menggunakan kebijakan ini dapat lulus pemeriksaan, sehingga gilirannya dapat dicatat ke dalam log. Sebelum mengaktifkan logging, pastikan tabel di balik tampilan tidak menggunakan kebijakan akses baris, tag kebijakan, atau penyamaran data.
  - Jika Anda menambahkan salah satu kebijakan ini ke tabel sumber nanti, baris yang sudah dicatat ke dalam log akan tetap berada di tabel log. Jika kebijakan retensi atau tata kelola Anda melarang penyimpanan baris tersebut, hapus baris tersebut.

Kontrol akses, enkripsi, dan keamanan jaringan

Anda dapat mengelola retensi, akses, enkripsi, dan keamanan perimeter untuk log percakapan Anda menggunakan setelan berikut:

Retensi dan kontrol akses pada set data log: mengonfigurasi retensi, peran set data, kebijakan tabel, dan log audit untuk tabel tujuan Anda:
- Retensi: Google tidak menghapus baris log. Tetapkan masa berlaku partisi pada set data atau tabel log yang sesuai dengan kebijakan Anda (misalnya, 90 hari).
- Hak istimewa terendah: pisahkan set data log dari set data lainnya agar akses tulis agen layanan Conversational Analytics API bersama tidak dapat mengakses tabel lainnya. Berikan roles/bigquery.dataViewer kepada analis di set data log, atau beri mereka akses hanya ke tampilan yang diizinkan atau set data yang diizinkan.
- Kontrol tingkat kolom dan tingkat baris pada tabel log: Anda dapat menerapkan tag kebijakan, penyamaran data, atau kebijakan akses baris ke tabel log itu sendiri, seperti pada content atau user_id. Kontrol tabel log ini tidak memengaruhi pemeriksaan privasi sumber pengetahuan.
- Logging audit: perubahan pada agen data dicatat dalam log audit Aktivitas Admin. Dalam log audit BigQuery, pembuatan tabel dan pembaruan metadata oleh agen layanan dicatat dalam log di bagian bigquery.googleapis.com, dan penambahan baris melalui Storage Write API (gRPC) dicatat dalam log di bagian bigquerystorage.googleapis.com.
CMEK, Kontrol Layanan VPC, dan residensi data: kontrol enkripsi, perimeter, dan lokasi berikut berlaku untuk logging percakapan:
- CMEK: jika set data log menggunakan kunci Cloud KMS yang dikelola pelanggan (CMEK), berikan peran roles/cloudkms.cryptoKeyEncrypterDecrypter pada kunci ke akun layanan enkripsi BigQuery (bq-PROJECT_NUMBER@bigquery-encryption.). CMEK pada agen data mengenkripsi resource agen, bukan tabel log (lihat Kunci enkripsi yang dikelola pelanggan).
- Kontrol Layanan VPC: jika Anda menggunakan perimeter layanan, sertakan geminidataanalytics.googleapis.com dan bigquery.googleapis.com dalam perimeter yang berisi project agen. Agen layanan menulis ke tabel log dari infrastruktur yang dikelola Google, jadi jika perimeter membatasi bigquery.googleapis.com, tambahkan aturan ingress seperti berikut. Ganti PROJECT_NUMBER dengan nomor project agen:
```
- ingressFrom:
    identities:
    - serviceAccount:service-PROJECT_NUMBER@gcp-sa-geminidataanalytics.
    sources:
    - accessLevel: "*"
  ingressTo:
    operations:
    - serviceName: bigquery.googleapis.com
      methodSelectors:
      - permission: bigquery.tables.get
      - permission: bigquery.tables.create
      - permission: bigquery.tables.update
      - permission: bigquery.tables.updateData
    resources:
    - projects/PROJECT_NUMBER
```
  Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi keamanan perimeter dengan Kontrol Layanan VPC.
- Residensi data: baris log dan tabel yang dibuat otomatis disimpan di lokasi set data log, tempat kebijakan organisasi lokasi resource (gcp.resourceLocations) berlaku.

Batasan

Logging percakapan memiliki batasan berikut:

Panel Preview di editor agen BigQuery Studio tidak dicatat dalam log.
Percakapan langsung tanpa agen data tidak dicatat dalam log.
Agen yang menggunakan cakupan penelusuran, bukan tabel tertentu, atau yang tidak mendeklarasikan tabel BigQuery apa pun, tidak akan dicatat ke dalam log. Agen yang mengonfigurasi grafik properti BigQuery sebagai sumber pengetahuan tidak dicatat dalam log.
SQL yang dihasilkan, panggilan alat, dan alat Agent Development Kit (ADK) atau peristiwa permintaan (TOOL_STARTING, TOOL_COMPLETED, TOOL_ERROR, dan LLM_REQUEST) tidak dicatat dalam log; hanya jawaban dan nama hasil data serta diagramnya yang dicatat dalam log. Giliran yang dijawab langsung dari kueri terverifikasi tidak menulis baris LLM_RESPONSE, dan giliran kueri terverifikasi yang gagal tidak dicatat ke dalam log.
Masukan pengguna berupa suka atau tidak suka tidak dicatat dalam log.
Giliran tidak dicatat ke dalam log jika sumber pengetahuan menggunakan kebijakan akses baris, keamanan tingkat kolom (tag kebijakan), atau penyamaran data, atau jika pemeriksaan privasi tidak dapat diselesaikan. Pemeriksaan tidak melihat tampilan ke tabel di belakangnya.
Hanya agen tabel BigQuery yang didukung; sumber data Looker, Data Studio, AlloyDB, Spanner, dan Cloud SQL tidak didukung.
Set data tujuan harus sudah ada dalam project yang sama dengan agen.
Perubahan skema pada tabel yang ada hanya bersifat aditif; jenis atau mode kolom yang bertentangan akan menghentikan penulisan ke tabel tersebut.
Setiap giliran yang memenuhi syarat dicatat tanpa setelan pengambilan sampel; ambil sampel pada waktu kueri (lihat Mengambil sampel pertanyaan dan jawaban di semua agen untuk ditinjau).
Kolom agent menyimpan jenis agen, bukan nama tampilan agen; gunakan ID agen data di attributes.
Pemanggil API yang menggunakan satu akun layanan untuk banyak pengguna akhir akan melihat email akun layanan tersebut di setiap baris.
Nilai teks yang lebih panjang dari 512.000 karakter (500 * 1,024) akan dipotong dengan akhiran ...[TRUNCATED], dan bagian yang dihapus tidak dapat dipulihkan.
Operasi tulis dilakukan dengan upaya terbaik dan percobaan ulang terbatas; giliran yang gagal ditulis tidak akan dicatat ke dalam log, dan percobaan ulang terkadang dapat menghasilkan baris duplikat (gunakan event_id untuk menghapus duplikat).
Agen tidak mewarisi setelan kemampuan observasi level project.

Harga

Analisis percakapan tidak mengenakan biaya terpisah untuk logging percakapan. Project Anda membayar harga BigQuery standar untuk penyerapan data Storage Write API BigQuery (gRPC), penyimpanan, dan kueri analisis. Penyerapan BigQuery Storage Write API (gRPC) mencakup penggunaan gratis sebesar 2 TiB per bulan untuk setiap akun penagihan, yang digunakan bersama di seluruh penggunaan Storage Write API (gRPC). Filter kueri di timestamp untuk mengurangi byte yang dipindai. Pemeriksaan privasi sebelum giliran membaca metadata tabel dan menjalankan kueri uji coba tanpa biaya.