Tentang TPU di Google Cloud

Tensor Processing Unit (TPU) adalah sirkuit terintegrasi khusus aplikasi (ASIC) yang dikembangkan secara khusus oleh Google dan dirancang untuk mempercepat workload machine learning (ML) dan kecerdasan buatan (AI). Baik Anda melatih model dasar yang kompleks selama berminggu-minggu atau menjalankan inferensi berskala besar, TPU menawarkan resource komputasi khusus yang skalabel dan dioptimalkan untuk framework seperti JAX dan PyTorch.

Cloud TPU dirancang untuk menangani workload AI yang paling menuntut. Manfaat utamanya meliputi:

  • Dioptimalkan untuk komputasi matriks: TPU dirancang secara khusus dengan Matrix Multiply Unit (MXU) untuk menjalankan operasi matriks masif yang mendasar bagi algoritma ML dengan efisiensi yang luar biasa.

  • Memori bandwidth tinggi (HBM): Memori bandwidth tinggi on-chip memungkinkan Anda melatih dan menyajikan model yang lebih besar serta memanfaatkan ukuran batch yang lebih besar secara efektif.

  • Skalabilitas yang besar dengan slice: Chip TPU dapat dihubungkan dalam grup yang disebut slice. Slice memungkinkan workload Anda mencapai penskalaan hingga ribuan chip TPU untuk tugas pelatihan yang sangat besar.

Kapan harus menggunakan TPU

TPU dioptimalkan untuk workload tertentu, seperti berikut:

  • Model yang didominasi oleh komputasi matriks
  • Model tanpa operasi PyTorch/JAX kustom di dalam loop pelatihan utama
  • Model yang dilatih selama berminggu-minggu atau berbulan-bulan
  • Model besar dengan ukuran tumpukan efektif yang besar
  • Model dengan embedding yang sangat besar yang umum dalam workload peringkat dan rekomendasi lanjutan

TPU tidak cocok untuk workload berikut:

  • Program aljabar linear yang memerlukan percabangan yang sering atau berisi banyak operasi aljabar berbasis elemen
  • Workload yang memerlukan aritmetika presisi tinggi
  • Workload jaringan neural yang berisi operasi kustom dalam loop pelatihan utama

Opsi penyediaan di Google Cloud

Anda dapat mengakses dan menyediakan TPU menggunakan produk Google Cloud berikut, bergantung pada kebutuhan operasional Anda.

Compute Engine

Compute Engine memungkinkan Anda membuat dan mengelola VM atau slice TPU individual, sehingga memberi Anda kemampuan untuk mengelola siklus proses VM TPU secara penuh. Google merekomendasikan agar Anda menggunakan Compute Engine, bukan Cloud TPU API lama, untuk menyediakan resource TPU.

Untuk mempelajari lebih lanjut, lihat Resource Cloud TPU di Compute Engine.

Google Kubernetes Engine

Google Kubernetes Engine (GKE) menyediakan lingkungan Kubernetes multi-tenant yang terkelola sepenuhnya untuk mengorkestrasi workload AI berskala besar. GKE mendukung pengelolaan siklus proses TPU node dan node pool, termasuk membuat, mengonfigurasi, dan menghapus VM TPU.

Untuk mempelajari lebih lanjut, lihat Tentang TPU di GKE.

Batch

Batch adalah layanan terkelola sepenuhnya yang memungkinkan Anda menjadwalkan, mengantrekan, dan menjalankan workload dalam container atau berbasis skrip yang berjalan di VM TPU Compute Engine.

Untuk mempelajari lebih lanjut, lihat Membuat dan menjalankan tugas Batch yang menggunakan TPU.

Cloud TPU

Cloud TPU API, termasuk Google Cloud CLI dan Library Klien Cloud untuk Cloud TPU, tidak lagi dikembangkan. Untuk menyediakan dan mengelola resource TPU, Google merekomendasikan agar Anda menggunakan Compute Engine atau GKE, berdasarkan kebutuhan orkestrasi dan workload Anda.

Untuk mengetahui informasi selengkapnya, lihat Bermigrasi dari Cloud TPU API.

Versi TPU yang didukung di Compute Engine

Compute Engine mendukung versi TPU berikut:

  • TPU7x (Ironwood)
  • TPU v6e (Trillium)
  • TPU v5p

Untuk mengetahui informasi selengkapnya tentang setiap versi TPU, lihat Mesin TPU.

Langkah berikutnya