示例

使用 JAX 进行训练

• 在 Trillium 上使用 JAX、Ray 和 GKE 训练 Llama 3-8B

  在 GKE 上使用 JAX、Ray Train 和 TPU v6e (Trillium) 以及 MaxText 对 Llama 3-8B 模型进行分布式训练，以实现优化的多主机伸缩。

• 使用 Ironwood 上的 GKE 集群预训练 Llama 3.1-70B

  使用 MaxText 框架在 TPU7x (Ironwood) 上训练 Llama 3.1-70B 模型。

• 在 Ironwood 上使用 GKE 集群预训练 DeepSeek 3-671B

  使用针对大规模混合专家 (MoE) 架构优化的 recipe，在 TPU7x 上训练 DeepSeek 3-671B 模型。

• 在 Ironwood 上使用 GKE 集群预训练 GPT OSS-120B

  使用针对大规模分布式训练进行了优化的 recipe，在 TPU7x 上训练 GPT OSS-120B 推理模型。

• 在 Ironwood 上使用 GKE 集群预训练 Qwen 3-235B

  使用针对高性能推理进行了优化的 recipe，在 TPU7x 上训练 Qwen 3-235B-A22B MoE 模型。

• 使用 Ironwood 上的 GKE 集群预训练 Wan 2.1-14B

  使用经过优化的 recipe 在 TPU7x 上训练 Wan 2.1-14B 视频生成模型，以实现高性能视频合成。

• 在 Trillium 上使用 GKE 集群预训练 GPT3-175B

  使用 MaxText 和优化后的配方在 TPU v6e 上训练 GPT3-175B 模型，以实现大规模、高性价比的性能。

• 在 Trillium 上使用 GKE 集群预训练 Gemma3-12B

  使用 MaxText 和经过优化的方案在 TPU v6e 上训练 Gemma3-12B 模型，以实现高性能的开放模型开发。

• 在 Trillium 上使用 GKE 集群预训练 Llama 3.1-70B

  在 TPU v6e 上使用 MaxText 和优化后的 recipe 训练 Llama 3.1-70B，实现高吞吐量、大规模模型训练。

• 在 Trillium 上使用 GKE 集群预训练 Llama 3.1-8B

  使用 MaxText 在 TPU v6e 上训练 Llama 3.1-8B，并采用此优化方案，实现可伸缩的高性能预训练。

• 在 Trillium 上使用 GKE 集群预训练 Mixtral-8x22B

  使用 MaxText 在 TPU v6e 上训练 Mixtral-8x22B，以优化性能和效率。

• 在 Trillium 上使用 GKE 集群预训练 Mixtral-8x7B

  在 TPU v6e 上使用 MaxText 训练 Mixtral-8x7B，并采用优化配置，在 Google Cloud 上实现高吞吐量 MoE 性能。

• 使用 v5p 上的 GKE 集群预训练 DeepSeek 3-671B

  使用 MaxText 在 TPU v5p 上训练和部署 DeepSeek 3-671B 模型，以实现经过优化的大规模性能。

• 在 v5p 上使用 GKE 集群预训练 GPT3-175B

  使用 MaxText 在 TPU v5p 上训练 GPT3-175B 模型，并采用针对大规模分布式训练进行优化的配置。

• 在 v5p 上使用 GKE 集群预训练 Mixtral-8x7B

  在 TPU v5p 上使用 MaxText 训练 Mixtral-8x7B，并采用针对高性能 MoE 工作负载优化的配置。

• 在 v5p 上使用 GKE 集群预训练 SDXL

  使用 MaxDiffusion 在 TPU v5p 上训练和扩缩 Stable Diffusion XL (SDXL)，以处理高性能生成式 AI 工作负载。

使用 PyTorch 进行训练

• 在 Ironwood 上使用 GKE 集群通过 TorchTitan 预训练 Qwen 3-32B

  使用 PyTorch、TorchTPU 和 TorchTitan 框架在 TPU7x (Ironwood) 上训练 Qwen 3-32B 模型。

• 在 Ironwood 上使用 GKE 集群通过 TorchTitan 预训练 Qwen 3-30B-A3B

  使用 PyTorch、TorchTPU 和 TorchTitan 在 TPU7x 上训练 Qwen 3-30B-A3B 混合专家 (MoE) 模型。

• 在 Ironwood 上使用 GKE 集群通过 TorchTitan 预训练 Qwen 3-8B

  使用 PyTorch、TorchTPU 和 TorchTitan 在 TPU7x 上训练 Qwen 3-8B 模型，以实现可伸缩的分布式训练。

• 在 Ironwood 上使用 GKE 集群通过 TorchTitan 预训练 Muse Glimmer 30B

  使用 PyTorch、TorchTPU 和 TorchTitan 在 TPU7x 上训练 Muse Glimmer 30B 模型。

• 在 Ironwood 上使用 TorchTitan 预训练 Llama 3-70B

  使用 PyTorch、TorchTPU 和 TorchTitan 在 TPU7x (Ironwood) 上训练 Llama 3-70B 模型。

• 在 Trillium 上使用 TorchTitan 预训练 Llama 3-8B

  使用 PyTorch、TorchTPU 和 TorchTitan 在 TPU v6e (Trillium) 上训练 Llama 3-8B 模型。

使用 JAX 进行推理

• 在 Trillium 上使用 GKE 和 vLLM 部署 Llama 3.1-70B

  使用 TPU v6e 和 vLLM 在 GKE 上部署 LLM，在 Google Cloud 上实现优化的自动扩缩和高性能模型部署。

• 通过 KubeRay 使用 GKE 应用 LLM

  通过 Ray Operator 插件和 vLLM 部署框架，使用 GKE 上的 TPU 部署 LLM。

• 使用 Terraform 通过 GKE 部署开放 LLM

  使用 TPU 和预配置的 Terraform 架构预配 GKE 推理环境并部署开放 LLM。

• 使用 GKE 应用 Stable Diffusion XL (SDXL)

  使用 Cloud TPU 和 MaxDiffusion 框架在 GKE 上应用 Stable Diffusion XL (SDXL)，以实现高性能图片生成。

• 在 Ironwood 上使用 GKE 集群通过 vLLM 提供 GPT OSS-120B

  使用 vLLM 在 TPU7x 上为 GPT-OSS 模型运行高性能推理，从而在 Google Cloud 上实现经过优化的吞吐量和低延迟服务。

• 在 Ironwood 上使用 GKE 集群通过 vLLM 部署 Qwen3-Coder-480B

  在 TPU7x 上使用 vLLM 部署 Qwen3-Coder-480B-A35B，实现经过优化的高吞吐量代码生成和推理。

• 在 Trillium 上使用 vLLM 部署 Llama 3.1-8B

  使用 vLLM 在 TPU v6e 上部署 Llama 3.1-8B，以实现经过优化的低延迟推理和高吞吐量服务。

• 在 Trillium 上使用 vLLM 部署 Qwen 3

  使用 vLLM 在 TPU v6e 上运行 Qwen 3 模型，实现高性能、可伸缩的推理和经过优化的吞吐量。

• 在 Trillium 上使用 vLLM 部署 Qwen2.5-32B

  使用 vLLM 在 TPU v6e 上部署 Qwen2.5-32B 模型，以实现经过优化的高吞吐量推理。

• 在 Trillium 上使用 vLLM 部署 Qwen2.5-VL

  使用 vLLM 在 TPU v6e 上部署 Qwen2.5-VL 视觉语言模型，实现经过优化的高性能多模态推理。

使用 PyTorch 进行推理

• 在 Ironwood 上使用 GKE 集群，通过 vLLM-TorchTPU 部署 Qwen 3.5-397B

  使用 PyTorch 和 vLLM-TorchTPU 在 TPU7x 上部署 Qwen 3.5-397B 模型，以进行多主机分布式推理。

• 在 Ironwood 上使用 vLLM-TorchTPU 提供 Gemma 4-26B 服务

  使用 PyTorch 和 vLLM-TorchTPU 后端在 TPU7x 上运行 Gemma 4-26B 模型，以实现高吞吐量推理。

• 在 Ironwood 上使用 vLLM-TorchTPU 部署 GLM-5.2

  使用 PyTorch 和 vLLM-TorchTPU 后端在 TPU7x 上运行 GLM-5.2 模型。

• 在 Trillium 上使用 vLLM-TorchTPU 部署 Qwen 3-32B

  使用 PyTorch 和 vLLM-TorchTPU 后端在 TPU v6e (Trillium) 上部署 Qwen 3-32B 模型。

• 在 Trillium 上使用 vLLM-TorchTPU 部署 Qwen 3.5-35B-A3B

  使用 PyTorch 和 vLLM-TorchTPU 后端在 TPU v6e 上部署 Qwen 3.5-35B-A3B 混合专家 (MoE) 模型。

• 在 Trillium 上使用 vLLM-TorchTPU 提供 Gemma 4-26B 服务

  使用 PyTorch 和 vLLM-TorchTPU 后端在 TPU v6e 上部署 Gemma 4-26B 模型。