Dokumen ini menyediakan arsitektur referensi yang menunjukkan cara mengimplementasikan alur kerja pemilihan kandidat dua menara end-to-end dengan Gemini Enterprise Agent Platform. Framework pemodelan dua menara adalah teknik pengambilan yang efektif untuk kasus penggunaan personalisasi karena mempelajari kesamaan semantik antara dua entity yang berbeda, seperti kueri web dan item kandidat.
Dokumen ini ditujukan untuk praktisi teknis seperti data scientist dan engineer machine learning yang mengembangkan aplikasi rekomendasi berskala besar dengan persyaratan inferensi latensi rendah.
Arsitektur
Diagram berikut menunjukkan arsitektur untuk melatih model dua menara dan men-deploy setiap menara secara terpisah untuk tugas deployment dan inferensi yang berbeda:
Arsitektur dalam diagram mencakup komponen berikut:
- Data pelatihan: File pelatihan disimpan di Cloud Storage.
- Pelatihan dua menara: Model dua menara gabungan dilatih secara offline menggunakan layanan Pelatihan Terkelola Gemini Enterprise Agent Platform; setiap menara disimpan secara terpisah dan digunakan untuk tugas yang berbeda.
- Tower kueri dan kandidat terdaftar: Setelah dilatih, setiap tower diupload secara terpisah ke Model Registry di Gemini Enterprise Agent Platform.
- Men-deploy menara kueri: Menara kueri yang terdaftar di-deploy ke endpoint online Agent Platform.
- Embedding prediksi batch: Tower kandidat yang terdaftar digunakan dalam tugas inferensi batch untuk melakukan pra-komputasi representasi embedding dari semua item kandidat yang tersedia.
- Embedding JSON: Embedding yang diprediksi disimpan ke file JSON di Cloud Storage.
- Indeks ANN: Penelusuran Vektor Agent Platform digunakan untuk membuat indeks inferensi yang dikonfigurasi untuk penelusuran approximate nearest neighbor (ANN).
- Indeks yang di-deploy: Indeks ANN di-deploy ke endpoint indeks Penelusuran Vektor Agent Platform.
Produk yang digunakan
Arsitektur referensi ini menggunakan produk Google Cloud berikut:
- Pelatihan Terkelola Gemini Enterprise Agent Platform: Layanan pelatihan terkelola yang memungkinkan Anda mengoperasionalkan pelatihan model skala besar.
- Penelusuran Vektor: Layanan pencocokan kemiripan vektor yang memungkinkan Anda menyimpan, mengindeks, dan menelusuri data yang mirip atau terkait secara semantik.
- Model Registry di Gemini Enterprise Agent Platform: Repositori pusat tempat Anda dapat mengelola siklus proses model ML.
- Cloud Storage: Penyimpanan objek berbiaya rendah dan tanpa batas untuk beragam jenis data. Data dapat diakses dari dalam dan luar Google Cloud, serta direplikasi di berbagai lokasi untuk redundansi.
Kasus penggunaan
Untuk memenuhi persyaratan penyajian latensi rendah, pemberi rekomendasi skala besar sering kali di-deploy ke produksi sebagai sistem dua tahap atau terkadang sebagai sistem multi-tahap. Tujuan tahap pertama, yaitu pemilihan kandidat, adalah menyaring banyak koleksi item kandidat dan mengambil subset yang relevan dari ratusan item untuk tugas pemfilteran dan penentuan peringkat downstream. Untuk mengoptimalkan tugas pengambilan ini, pertimbangkan dua tujuan inti berikut:
- Selama pelatihan model, pelajari representasi terbaik dari masalah atau
tugas yang akan diselesaikan, dan kompilasi representasi ini menjadi
embedding
<query, candidate>. - Selama penyajian model, ambil item yang relevan dengan cukup cepat untuk memenuhi persyaratan latensi.
Diagram berikut menunjukkan komponen konseptual pemberi rekomendasi dua tahap:
Dalam diagram, pemilihan kandidat memfilter jutaan item kandidat. Kemudian, pemeringkatan memfilter ratusan item kandidat yang dihasilkan untuk menampilkan puluhan item yang direkomendasikan.
Arsitektur referensi dalam dokumen ini melatih model pengambilan berbasis dua menara. Dalam arsitektur, setiap tower adalah jaringan neural yang memproses fitur item kueri atau kandidat, lalu menghasilkan representasi embedding dari fitur tersebut. Setiap tower di-deploy secara terpisah, karena setiap tower akan digunakan untuk tugas yang berbeda dalam produksi:
- Tower kandidat: Tower kandidat digunakan untuk melakukan pra-komputasi embedding untuk semua item kandidat. Embedding yang telah dihitung sebelumnya di-deploy ke endpoint indeks Penelusuran Vektor yang dioptimalkan untuk pengambilan latensi rendah.
- Men-deploy tower: Selama penyaluran online, tower kueri yang di-deploy mengonversi kueri pengguna mentah menjadi representasi embedding. Representasi embedding kemudian digunakan untuk mencari embedding item yang serupa dalam indeks yang di-deploy.
Arsitektur dua menara ideal untuk banyak tugas pengambilan karena arsitektur dua menara menangkap hubungan semantik kueri dan entity kandidat, serta memetakannya ke ruang embedding bersama. Saat entity dipetakan ke ruang embedding bersama, entity yang serupa secara semantik akan dikelompokkan lebih dekat. Oleh karena itu, jika Anda menghitung embedding vektor dari kueri tertentu, Anda dapat menelusuri ruang embedding untuk menemukan item kandidat terdekat (paling mirip). Manfaat utama dari arsitektur tersebut adalah kemampuan untuk memisahkan inferensi kueri dan representasi kandidat. Keuntungan dari pemisahan ini terutama ada dua:
- Anda dapat menyajikan item baru (segar) tanpa melatih ulang kosakata item baru. Dengan memasukkan kumpulan fitur item apa pun ke tower item kandidat, Anda dapat menghitung embedding item untuk kumpulan kandidat apa pun, bahkan yang tidak terlihat selama pelatihan. Melakukan komputasi ini membantu
mengatasi masalah cold-start.
- Tower kandidat dapat mendukung kumpulan item kandidat arbitrer, termasuk item yang belum berinteraksi dengan sistem rekomendasi. Dukungan ini dimungkinkan karena arsitektur dua menara memproses fitur konten lengkap dan metadata tentang setiap pasangan
<query, candidate>. Pemrosesan semacam ini memungkinkan sistem mendeskripsikan item yang tidak diketahui berdasarkan item yang diketahuinya.
- Tower kandidat dapat mendukung kumpulan item kandidat arbitrer, termasuk item yang belum berinteraksi dengan sistem rekomendasi. Dukungan ini dimungkinkan karena arsitektur dua menara memproses fitur konten lengkap dan metadata tentang setiap pasangan
- Anda dapat mengoptimalkan inferensi pengambilan dengan melakukan pra-komputasi semua embedding item kandidat. Embedding yang telah dihitung sebelumnya ini dapat diindeks dan di-deploy
ke infrastruktur penyajian yang dioptimalkan untuk pengambilan latensi rendah.
- Pembelajaran bersama menara memungkinkan Anda mendeskripsikan item dalam hal kueri dan sebaliknya. Jika Anda memiliki satu bagian dari pasangan, seperti kueri, dan Anda perlu mencari item lain yang sesuai, Anda dapat melakukan pra-komputasi setengah dari persamaan tersebut terlebih dahulu. Prakomputasi memungkinkan Anda membuat keputusan lainnya secepat mungkin.
Pertimbangan desain
Bagian ini menjelaskan faktor desain, praktik terbaik, dan rekomendasi yang selaras dengan Google Cloud Well-Architected Framework. Pertimbangkan informasi ini saat Anda menggunakan arsitektur referensi ini untuk mengembangkan topologi yang memenuhi persyaratan spesifik Anda terkait keamanan, keandalan, pengoptimalan biaya, efisiensi operasional, dan performa.
Keamanan, privasi, dan kepatuhan
Penelusuran Vektor Agent Platform mendukung endpoint publik, peering jaringan Virtual Private Cloud (VPC), dan Private Service Connect untuk deployment endpoint indeks. Pertimbangkan opsi keamanan jaringan berikut untuk workload Anda:
- Konektivitas pribadi dengan Private Service Connect: Untuk sebagian besar deployment pribadi, konfigurasikan Private Service Connect di endpoint indeks Penelusuran Vektor Anda. Private Service Connect memungkinkan klien di beberapa jaringan VPC dan project mengkueri indeks melalui alamat IP internal yang Anda tentukan, tanpa memerlukan pemesanan rentang IP peering VPC khusus.
- Peering Jaringan VPC: Jika Anda menggunakan Peering Jaringan VPC, hanya kueri pencocokan vektor online yang memerlukan koneksi peering dari jaringan VPC yang sama. Misalnya, jika Anda mengirim kueri online dari instance Gemini Enterprise Agent Platform Workbench ke endpoint indeks yang di-peering, buat instance di jaringan VPC yang sama. Panggilan API bidang kontrol yang membuat, men-deploy, atau menghapus indeks tidak memerlukan koneksi Peering Jaringan VPC.
- Perlindungan pemindahan data yang tidak sah: Untuk membantu mencegah pemindahan data yang tidak sah di seluruh resource pelatihan, penyimpanan, dan inferensi Anda, tempatkan Agent Platform dan Cloud Storage di dalam perimeter layanan Kontrol Layanan VPC.
Keandalan
Untuk membantu memastikan ketersediaan tinggi untuk pembuatan kandidat online, konfigurasikan redundansi di seluruh endpoint indeks Penelusuran Vektor dan endpoint model online:
- Konfigurasi replika indeks: Saat Anda men-deploy indeks ke endpoint Penelusuran Vektor, tetapkan kolom
minReplicaCountke setidaknya2replika per shard. ResourceDeployedIndexmemerlukan setidaknya dua replika per shard untuk cakupan berdasarkan perjanjian tingkat layanan (SLA) Agent Platform. - Batas penskalaan otomatis: Pantau penggunaan CPU dan memori pada shard indeks yang di-deploy, dan konfigurasikan kolom
maxReplicaCountagar Penelusuran Vektor dapat menambahkan replika saat penggunaan CPU atau memori secara konsisten melebihi 60%.
Pengoptimalan biaya
Untuk mengelola biaya infrastruktur di seluruh pelatihan offline dan penyaluran vektor online, sesuaikan ukuran shard indeks dan resource komputasi Anda:
- Shard indeks dan ukuran mesin: Saat Anda
membuat dan men-deploy indeks Penelusuran Vektor,
pilih ukuran shard terkecil (seperti nilai
SHARD_SIZE_SMALLhingga 2 GiB atau nilaiSHARD_SIZE_MEDIUMhingga 20 GiB) dan jenis mesin yang kompatibel yang sesuai dengan korpus embedding kandidat Anda. Menyesuaikan ukuran shard membantu menghindari penyediaan berlebih VM endpoint indeks yang selalu aktif.
Efisiensi operasional
Untuk menyederhanakan pemeliharaan berkelanjutan embedding kandidat, pipeline fitur, dan update indeks, pertimbangkan kemampuan berikut:
- Update indeks streaming: Arsitektur dalam dokumen ini menggunakan pembangunan ulang indeks batch untuk update katalog kandidat berkala. Jika aplikasi Anda memerlukan item kandidat baru atau yang diperbarui untuk muncul dalam rekomendasi dalam hitungan detik, konfigurasikan indeks streaming Penelusuran Vektor, bukan membangun ulang indeks lengkap dalam batch.
- Penelusuran campuran: Jika kueri Anda menyertakan SKU produk, ID, atau kata kunci di luar domain yang tepat bersama embedding semantik, gunakan penelusuran campuran di Penelusuran Vektor untuk menggabungkan embedding dua menara yang padat dan embedding token sparse dalam satu indeks dengan Reciprocal Rank Fusion (RRF).
- Penyajian fitur online: Jika menara kueri yang di-deploy memerlukan konteks pengguna atau fitur perilaku real-time selama inferensi online, gunakan Agent Platform Feature Store dengan penyajian online Bigtable untuk mengambil fitur latensi rendah dari tabel BigQuery.
- Orkestrasi alur kerja otomatis: Untuk mengotomatiskan langkah-langkah persiapan data berulang, pelatihan dua menara, inferensi batch, dan deployment indeks, lakukan orkestrasi alur kerja Anda dengan Gemini Enterprise Agent Platform Pipelines.
Pengoptimalan performa
Bagian ini menjelaskan faktor yang perlu dipertimbangkan saat Anda menggunakan arsitektur referensi ini untuk mendesain topologi di Google Cloud yang memenuhi persyaratan performa workload Anda.
Membuat profil tugas pelatihan
Untuk mengoptimalkan pipeline input data dan grafik pelatihan secara keseluruhan, buat profil
performa pelatihan dengan plugin cloud_profiler dari
Agent Platform SDK
dan Vertex AI TensorBoard, yang menyediakan versi terkelola dari
TensorBoard Profiler open source.
Saat Anda melakukan inisialisasi modul cloud_profiler dalam skrip pelatihan kustom
dan mengonfigurasi callback tf.keras.callbacks.TensorBoard, tugas pelatihan
akan membuat profil sejumlah batch yang ditetapkan untuk setiap epoch. Profil ini menangkap trace
dari CPU host dan dari GPU perangkat atau hardware Cloud TPU. Trace memberikan informasi tentang konsumsi resource tugas pelatihan.
Untuk menghindari error kehabisan memori, mulailah dengan durasi profil antara 2 dan 10 langkah pelatihan, lalu tingkatkan durasi sesuai kebutuhan.
Untuk mempelajari cara membuat profil tugas pelatihan kustom dengan Pelatihan Terkelola Agent Platform dan Vertex AI TensorBoard, lihat Membuat profil performa pelatihan model. Untuk mengetahui praktik terbaik proses debug, lihat Mengoptimalkan performa GPU. Untuk mengetahui informasi tentang cara mengoptimalkan performa, lihat Mengoptimalkan performa TensorFlow menggunakan Profiler.
Memanfaatkan akselerator sepenuhnya
Saat Anda memasang akselerator pelatihan seperti GPU NVIDIA atau Cloud TPU, penting untuk menggunakannya secara maksimal. Pemanfaatan penuh akselerator pelatihan adalah praktik terbaik untuk pengelolaan biaya karena akselerator adalah komponen termahal dalam arsitektur. Pemanfaatan penuh akselerator pelatihan juga merupakan praktik terbaik untuk efisiensi tugas karena tidak adanya waktu tidak ada aktivitas akan mengurangi konsumsi resource secara keseluruhan.
Agar akselerator dapat digunakan sepenuhnya, Anda biasanya melakukan beberapa iterasi untuk menemukan bottleneck, mengoptimalkan bottleneck, lalu mengulangi langkah-langkah ini hingga pemakaian perangkat akselerator dapat diterima. Karena banyak set data untuk kasus penggunaan ini terlalu besar untuk dimuat ke dalam memori, bottleneck biasanya ditemukan antara penyimpanan, VM host, dan akselerator.
Diagram berikut menunjukkan tahap konseptual pipeline input pelatihan ML:
Dalam diagram, data dibaca dari penyimpanan dan diproses terlebih dahulu. Setelah data diproses, data tersebut dikirim ke perangkat. Untuk mengoptimalkan performa, mulailah dengan menentukan apakah performa keseluruhan dibatasi oleh CPU host atau oleh perangkat akselerator (GPU atau TPU). Perangkat bertanggung jawab untuk mempercepat loop pelatihan, sedangkan host bertanggung jawab untuk memasukkan data pelatihan ke perangkat dan menerima hasil dari perangkat. Bagian berikut menjelaskan cara mengatasi bottleneck dengan meningkatkan performa pipeline input dan performa perangkat.
Meningkatkan performa pipeline input
Untuk mengurangi bottleneck pipeline input host, gunakan teknik berikut:
- Membaca data dari penyimpanan: Untuk meningkatkan pembacaan data, gunakan caching, prefetching, pola akses berurutan, dan I/O paralel.
- Melakukan pra-pemrosesan data: Untuk meningkatkan pra-pemrosesan data, konfigurasikan
pemrosesan paralel
untuk ekstraksi dan transformasi data, serta sesuaikan
transformasi
interleavedi pipeline input data. - Mengirim data ke perangkat: Untuk mengurangi waktu tugas secara keseluruhan, transfer data dari host ke beberapa perangkat secara paralel.
Meningkatkan performa perangkat
Untuk meningkatkan pemanfaatan akselerator selama setiap langkah pelatihan, gunakan teknik berikut:
- Tingkatkan ukuran tumpukan mini: Tumpukan mini adalah jumlah sampel pelatihan yang digunakan oleh setiap perangkat dalam satu iterasi loop pelatihan. Saat meningkatkan ukuran tumpukan mini, Anda meningkatkan paralelisme antar-operasi dan meningkatkan penggunaan kembali data. Namun, tumpukan mini harus dapat masuk ke dalam memori bersama dengan program pelatihan lainnya. Jika Anda meningkatkan ukuran tumpukan mini terlalu banyak, Anda dapat mengalami error kehabisan memori dan divergensi model.
- Memvektorkan fungsi yang ditentukan pengguna: Biasanya, transformasi data dapat dinyatakan sebagai fungsi yang ditentukan pengguna yang menjelaskan cara mentransformasi setiap elemen set data input. Untuk memvektorisasi fungsi ini, Anda menerapkan operasi transformasi pada batch input sekaligus, bukan mengubah satu elemen pada satu waktu. Setiap fungsi yang ditentukan pengguna memiliki overhead yang terkait dengan penjadwalan dan eksekusi. Saat mentransformasi batch input, Anda akan dikenai overhead sekali per batch, bukan sekali per elemen set data.
Meningkatkan skala sebelum menyebarkan skala
Saat mengonfigurasi resource komputasi untuk tugas pelatihan, lakukan peningkatan skala sebelum melakukan penyebaran skala. Pilih perangkat yang lebih besar dan lebih canggih sebelum Anda menggunakan beberapa perangkat yang kurang canggih. Skalakan resource pelatihan Anda dalam urutan berikut:
- Satu worker + satu perangkat
- Satu pekerja + perangkat yang lebih canggih
- Satu worker + beberapa perangkat
- Pelatihan terdistribusi
Mengevaluasi perolehan terhadap latensi untuk penelusuran vektor ANN
Untuk mengevaluasi manfaat penelusuran ANN, Anda dapat mengukur latensi dan perolehan kueri tertentu. Untuk membantu penyesuaian indeks, Vector Search Agent Platform menyediakan kemampuan untuk membuat indeks brute-force. Indeks brute-force akan melakukan penelusuran menyeluruh, dengan mengorbankan latensi yang lebih tinggi, untuk menemukan tetangga terdekat yang sebenarnya untuk vektor kueri tertentu. Penggunaan indeks brute-force tidak dimaksudkan untuk penggunaan produksi, tetapi memberikan dasar pengukuran yang baik saat Anda menghitung perolehan selama penyesuaian indeks.
Untuk mengevaluasi perolehan terhadap latensi, Anda men-deploy embedding kandidat yang telah dihitung sebelumnya ke satu indeks yang dikonfigurasi untuk penelusuran ANN dan ke indeks lain yang dikonfigurasi untuk penelusuran brute-force. Indeks brute-force akan menampilkan tetangga terdekat absolut, tetapi biasanya akan memerlukan waktu lebih lama daripada penelusuran ANN. Anda mungkin bersedia mengorbankan beberapa perolehan pengambilan untuk mendapatkan keuntungan dalam latensi pengambilan, tetapi konsekuensi ini harus dievaluasi. Karakteristik tambahan yang memengaruhi perolehan dan latensi meliputi:
- Parameter pemodelan: Banyak keputusan pemodelan memengaruhi ruang embedding, yang pada akhirnya menjadi indeks inferensi. Bandingkan kandidat yang diambil untuk indeks yang dibuat dari model deep retrieval dan shallow retrieval.
- Dimensi: Dimensi adalah aspek lain yang pada akhirnya ditentukan oleh model. Dimensi indeks ANN harus cocok dengan dimensi vektor menara kueri dan kandidat.
- Tag pengelompokan dan pemfilteran: Tag dapat memberikan kemampuan yang efektif untuk menyesuaikan hasil untuk berbagai kasus penggunaan produksi. Praktik terbaiknya adalah memahami pengaruh tag terhadap kandidat yang diambil dan dampaknya terhadap performa.
- Jumlah ANN: Jika Anda meningkatkan nilai ini, Anda akan meningkatkan perolehan, yang dapat meningkatkan latensi secara proporsional.
- Persentase node daun yang akan ditelusuri: Persentase node daun yang akan ditelusuri adalah opsi paling penting saat Anda mengevaluasi kompromi antara perolehan dan latensi. Saat Anda meningkatkan nilai ini, Anda meningkatkan perolehan, yang dapat meningkatkan latensi secara proporsional.
Langkah berikutnya
Untuk mengetahui lebih banyak tentang arsitektur referensi, diagram, dan praktik terbaik lainnya, jelajahi Pusat Arsitektur Cloud.
Kontributor
Penulis:
- Jordan Totten | Customer Engineer
- Jeremy Wortz | Customer Engineer
- Lakshmanan Sethu | Technical Account Manager
Kontributor lainnya: Kaz Sato | Staff Developer Advocate