샘플

JAX를 사용한 학습

• Trillium에서 JAX, Ray, GKE를 사용하여 Llama 3-8B 학습

  최적화된 멀티 호스트 확장을 위해 MaxText와 함께 JAX, Ray Train, TPU v6e (Trillium)를 사용하여 GKE에서 Llama 3-8B 모델의 분산 학습을 수행합니다.

• Ironwood에서 GKE 클러스터를 사용하여 Llama 3.1-70B 사전 학습

  MaxText 프레임워크를 사용하여 TPU7x (Ironwood)에서 Llama 3.1-70B 모델을 학습시킵니다.

• Ironwood에서 GKE 클러스터를 사용하여 DeepSeek 3-671B 사전 학습

  대규모 전문가 망 (MoE) 아키텍처에 최적화된 레시피를 사용하여 TPU7x에서 DeepSeek 3-671B 모델을 학습시킵니다.

• Ironwood에서 GKE 클러스터를 사용하여 GPT OSS-120B 사전 학습

  대규모 분산 학습에 최적화된 레시피를 사용하여 TPU7x에서 GPT OSS-120B 추론 모델을 학습시킵니다.

• Ironwood에서 GKE 클러스터를 사용하여 Qwen 3-235B 사전 학습

  고성능 추론을 위해 최적화된 레시피를 사용하여 TPU7x에서 Qwen 3-235B-A22B MoE 모델을 학습시킵니다.

• Ironwood에서 GKE 클러스터를 사용하여 Wan 2.1-14B 사전 학습

  고성능 동영상 합성을 위해 최적화된 레시피를 사용하여 TPU7x에서 Wan 2.1-14B 동영상 생성 모델을 학습시킵니다.

• Trillium에서 GKE 클러스터를 사용하여 GPT3-175B 사전 학습

  MaxText와 최적화된 레시피를 사용하여 TPU v6e에서 GPT3-175B 모델을 학습시켜 대규모의 비용 효율적인 성능을 구현합니다.

• Trillium에서 GKE 클러스터를 사용하여 Gemma3-12B 사전 학습

  고성능 개방형 모델 개발을 위해 MaxText와 최적화된 레시피를 사용하여 TPU v6e에서 Gemma3-12B 모델을 학습시킵니다.

• Trillium에서 GKE 클러스터를 사용하여 Llama 3.1-70B 사전 학습

  높은 처리량의 대규모 모델 학습을 위해 MaxText와 최적화된 레시피를 사용하여 TPU v6e에서 Llama 3.1-70B를 학습시킵니다.

• Trillium에서 GKE 클러스터를 사용하여 Llama 3.1-8B 사전 학습

  확장 가능하고 고성능의 사전 학습을 위해 최적화된 이 레시피를 사용하여 TPU v6e에서 MaxText를 통해 Llama 3.1-8B를 학습시킵니다.

• Trillium에서 GKE 클러스터를 사용하여 Mixtral-8x22B 사전 학습

  MaxText를 사용하여 TPU v6e에서 Mixtral-8x22B를 학습시켜 성능과 효율성을 최적화합니다.

• Trillium에서 GKE 클러스터를 사용하여 Mixtral-8x7B 사전 학습

  Google Cloud에서 높은 처리량의 MoE 성능을 위해 최적화된 구성으로 TPU v6e에서 MaxText를 사용하여 Mixtral-8x7B를 학습시킵니다.

• v5p에서 GKE 클러스터를 사용하여 DeepSeek 3-671B 사전 학습

  MaxText를 사용하여 TPU v5p에서 DeepSeek 3-671B 모델을 학습시키고 배포하여 대규모 성능을 최적화합니다.

• v5p에서 GKE 클러스터를 사용하여 GPT3-175B 사전 학습

  대규모 분산 학습에 최적화된 구성으로 MaxText를 사용하여 TPU v5p에서 GPT3-175B 모델을 학습시켜 줘.

• v5p에서 GKE 클러스터를 사용하여 Mixtral-8x7B 사전 학습

  고성능 MoE 워크로드에 최적화된 구성으로 MaxText를 사용하여 TPU v5p에서 Mixtral-8x7B를 학습시킵니다.

• v5p에서 GKE 클러스터를 사용하여 SDXL 사전 학습

  고성능 생성형 AI 워크로드를 위해 MaxDiffusion을 사용하여 TPU v5p에서 Stable Diffusion XL (SDXL)을 학습시키고 확장합니다.

PyTorch를 사용한 학습

• Ironwood에서 GKE 클러스터를 사용하여 TorchTitan으로 Qwen 3-32B 사전 학습

  PyTorch, TorchTPU, TorchTitan 프레임워크를 사용하여 TPU7x (Ironwood)에서 Qwen 3-32B 모델을 학습시킵니다.

• Ironwood에서 GKE 클러스터를 사용하여 TorchTitan으로 Qwen 3-30B-A3B 사전 학습

  PyTorch, TorchTPU, TorchTitan을 사용하여 TPU7x에서 Qwen 3-30B-A3B 전문가 혼합 (MoE) 모델을 학습시킵니다.

• Ironwood에서 GKE 클러스터를 사용하여 TorchTitan으로 Qwen 3-8B 사전 학습

  확장 가능한 분산 학습을 위해 PyTorch, TorchTPU, TorchTitan을 사용하여 TPU7x에서 Qwen 3-8B 모델을 학습시킵니다.

• Ironwood에서 GKE 클러스터를 사용하여 TorchTitan으로 Muse Glimmer 30B 사전 학습

  PyTorch, TorchTPU, TorchTitan을 사용하여 TPU7x에서 Muse Glimmer 30B 모델을 학습시킵니다.

• Ironwood에서 TorchTitan으로 Llama 3-70B 사전 학습

  PyTorch, TorchTPU, TorchTitan을 사용하여 TPU7x (Ironwood)에서 Llama 3-70B 모델을 학습시킵니다.

• Trillium에서 TorchTitan으로 Llama 3-8B 사전 학습

  PyTorch, TorchTPU, TorchTitan을 사용하여 TPU v6e (Trillium)에서 Llama 3-8B 모델을 학습시킵니다.

JAX를 사용한 추론

• Trillium에서 GKE 및 vLLM을 사용하여 Llama 3.1-70B 서빙

  Google Cloud에서 최적화된 자동 확장과 고성능 모델 서빙을 제공하는 TPU v6e 및 vLLM을 사용하여 GKE에서 LLM을 서빙합니다.

• KubeRay를 사용하여 GKE로 LLM 서빙

  Ray Operator 부가기능과 vLLM 서빙 프레임워크를 사용하여 GKE에서 TPU로 LLM을 서빙합니다.

• Terraform과 함께 GKE를 사용하여 오픈 LLM 서빙

  GKE 추론 환경을 프로비저닝하고 TPU와 사전 구성된 Terraform 아키텍처를 사용하여 개방형 LLM을 배포합니다.

• GKE를 사용하여 Stable Diffusion XL (SDXL) 서빙

  고성능 이미지 생성을 위해 Cloud TPU 및 MaxDiffusion 프레임워크를 사용하여 GKE에서 Stable Diffusion XL (SDXL)을 제공합니다.

• Ironwood에서 GKE 클러스터를 사용하여 vLLM으로 GPT OSS-120B 서빙

  Google Cloud에서 최적화된 처리량과 짧은 지연 시간의 서빙을 위해 vLLM을 사용하여 TPU7x에서 GPT-OSS 모델에 대한 고성능 추론을 실행합니다.

• Ironwood에서 GKE 클러스터를 사용하여 vLLM으로 Qwen3-Coder-480B 서빙

  최적화된 높은 처리량의 코드 생성 및 추론을 위해 vLLM을 사용하여 TPU7x에서 Qwen3-Coder-480B-A35B를 서빙합니다.

• Trillium에서 vLLM으로 Llama 3.1-8B 서빙

  vLLM을 사용하여 TPU v6e에서 Llama 3.1-8B를 서빙하여 지연 시간이 짧은 최적화된 추론과 높은 처리량의 서빙을 지원합니다.

• Trillium에서 vLLM으로 Qwen 3 서빙

  고성능, 확장 가능한 추론, 최적화된 처리량을 위해 vLLM을 사용하여 TPU v6e에서 Qwen 3 모델을 서빙합니다.

• Trillium에서 vLLM으로 Qwen2.5-32B 서빙

  vLLM을 사용하여 TPU v6e에서 Qwen2.5-32B 모델을 서빙하여 최적화된 높은 처리량의 추론을 수행합니다.

• Trillium에서 vLLM으로 Qwen2.5-VL 서빙

  vLLM을 사용하여 TPU v6e에서 Qwen2.5-VL 시각 언어 모델을 서빙하여 최적화된 고성능 멀티모달 추론을 수행합니다.

PyTorch를 사용한 추론

• Ironwood에서 GKE 클러스터를 사용하여 vLLM-TorchTPU로 Qwen 3.5-397B 서빙

  멀티 호스트 분산 추론을 위해 PyTorch 및 vLLM-TorchTPU를 사용하여 TPU7x에서 Qwen 3.5-397B 모델을 서빙합니다.

• Ironwood에서 vLLM-TorchTPU로 Gemma 4-26B 서빙

  PyTorch와 vLLM-TorchTPU 백엔드를 사용하여 TPU7x에서 Gemma 4-26B 모델을 서빙하여 높은 처리량의 추론을 수행합니다.

• Ironwood에서 vLLM-TorchTPU로 GLM-5.2 서빙

  PyTorch 및 vLLM-TorchTPU 백엔드를 사용하여 TPU7x에서 GLM-5.2 모델을 서빙합니다.

• Trillium에서 vLLM-TorchTPU로 Qwen 3-32B 서빙

  PyTorch 및 vLLM-TorchTPU 백엔드를 사용하여 TPU v6e (Trillium)에서 Qwen 3-32B 모델을 서빙합니다.

• Trillium에서 vLLM-TorchTPU로 Qwen 3.5-35B-A3B 서빙

  PyTorch 및 vLLM-TorchTPU 백엔드를 사용하여 TPU v6e에서 Qwen 3.5-35B-A3B 전문가 혼합 (MoE) 모델을 서빙합니다.

• Trillium에서 vLLM-TorchTPU로 Gemma 4-26B 서빙

  PyTorch 및 vLLM-TorchTPU 백엔드를 사용하여 TPU v6e에서 Gemma 4-26B 모델을 서빙합니다.