TPU7x(Ironwood)のパフォーマンスの最適化

このガイドでは、多層メモリシステム間のデータ移動を効率的に管理することで、TPU7x(Ironwood)のパフォーマンスを最適化するいくつかの方法について説明します。これには、低精度トレーニング、シャーディング、通信の最適化、アクティベーションの再マテリアライズ、スコープ付きベクトルメモリ(VMEM)のチューニング、カスタム アクセラレータ カーネルなどの手法が含まれます。

TPU7x でパフォーマンスを最適化するには、まず Ironwood アーキテクチャ、特にメモリ階層と相互接続トポロジに精通している必要があります。詳細については、TPU7x(Ironwood)をご覧ください。

FP8 を使用した低精度トレーニング

FP8(8 ビット浮動小数点)は、主にモデルのトレーニングと推論を高速化するために使用される効率的な数値データ形式です。標準の 16 ビット形式(FP16 または BF16)や 32 ビット(FP32)ではなく、8 ビットを使用して数値を表すことで、TPU はデータを大幅に高速に処理し、メモリ使用量を削減できます。

TPU7x は、FP8 データ型の組み込みハードウェア アクセラレーションをサポートしており、チップあたり 4, 614 TFLOPS のピーク理論パフォーマンスを実現します。この機能により、エンドツーエンドのトレーニング時間を大幅に短縮できます。互換性のあるオペレーション(特に AI ワークロードで一般的な高密度行列乗算)では、FP8 を使用すると、標準の BF16 トレーニングと比較してパフォーマンスが 1.3 倍向上します。BF16 と比較すると、FP8 はピーク FLOPs が 2 倍になり、重みとアクティベーションのメモリ使用量が半分になります。FP8 は、コンピューティング バウンドのワークロードと、メモリ容量または帯域幅によって制約されるシナリオの両方で、主要なチューニング レバーとして使用する必要があります。

FP8 を使用すると、次のパフォーマンス上のメリットが得られます。

  • 高帯域幅メモリ(HBM)の負荷の軽減: メモリ使用量が小さくなると、より大きなモデルや、推論中に KV キャッシュが大きくなるモデルを 192 GiB の HBM に完全に収めることができます。これにより、低速なホストメモリへのコストのかかるオフロードを回避できます。
  • 有効なバッチサイズの増加: FP8 では、アクティベーションに必要なメモリを削減することで、より大きなバッチサイズを使用できます。これにより、データ並列処理が改善され、スループットが向上し、コンピューティング単位数の使用率が向上します。
  • メモリ帯域幅の要件の低減: 各オペレーションで移動するデータ量を半分にすることで、HBM から MXU へのデータパスの需要が低減します。データの移動が一般的なボトルネックとなるシステムでは、これにより MXU が作業で飽和状態になるのを防ぐことができます。

パフォーマンスの低下をゼロまたは限定的に抑えて FP8 を使用するには、量子化手法を慎重に選択する必要があります。FP8 トレーニングで考慮すべきベスト プラクティスをいくつかご紹介します。

  • スケーリングの粒度: テンソル単位のスケーリングをベースラインとして開始します。品質やパフォーマンスの問題がある場合は、軸ごとのスケーリングに切り替えます。サブチャンネルのスケーリングが不要になる可能性があります。
  • スケーリング モード: 実行時にスケーリング ファクタを計算する動的スケーリングは、品質を維持するための適切なデフォルトです。静的スケーリングは、計算を排除することでパフォーマンスを大幅に向上させることができますが、適切なスケーリング ファクタを決定するには慎重なプロファイリングが必要です。また、すべてのユースケースに適しているとは限りません。特に、モデル構成が変更される場合は適していません。逆に、一部の堅牢なモデルと構成では、重みまたは活性化の FP8 の上限にスケールを固定できるため、精度を維持しながらパフォーマンスを向上させ、量子化のオーバーヘッドを削減できます。
  • FP8 形式(E4M3 と E5M2): 一般的で効果的なアプローチは、FP8 形式を組み合わせて使用することです。たとえば、フォワードパスの重みと活性化に E4M3 を使用して E4M3 の高精度を活用し、バックワードパスの勾配に E5M2 を使用して勾配の広いダイナミック レンジに対応します。
  • 丸め: 勾配に確率的丸めではなく「最近接偶数への丸め」(RNE)を使用すると、パフォーマンスと再現性を向上させながら品質を維持できます。
  • MaxText での FP8 の有効化: MaxText は、QWIX 量子化ライブラリを介して FP8 トレーニングをサポートしています。量子化を有効にするには、構成で use_qwix_quantization=true フラグを設定します。

シャーディングと並列処理

シャーディングとは、大規模なモデルまたはそのトレーニング データを小さな部分に分割し、複数の TPU チップまたはコアに分散するプロセスです。TPU7x で高いパフォーマンスを実現するには、適切なシャーディング戦略を選択することが重要です。

並列処理の度合いを純粋に最大化する単純なアプローチでは、通信が制限されるため、パフォーマンスが低下することがよくあります。多くの場合、メモリ制約を満たす最もシンプルなシャーディング戦略を選択することが最善のアプローチです。これにより、通信オーバーヘッドが最小限に抑えられ、コンピューティング単位数を効率的に利用できます。

シャーディング戦略を選択する前に、パフォーマンス チューニングの最初のステップとして、演算強度分析を行う必要があります。この分析では、特定の計算がコンピューティング、メモリ帯域幅、相互接続帯域幅によって制限されているかどうかを判断します。これは、浮動小数点演算と、移動する必要があるデータのバイト数の比率として計算されます。

演算強度が高い場合は、コンピューティング バウンドのワークロードであることを示します。演算強度が低い場合は、メモリバウンドまたは通信バウンドのワークロードであることを示しています。この場合、パフォーマンスは、HBM から、または ICI ネットワークを介してデータを移動できる速度によって制限されます。この分析により、理想的なバッチサイズとシャーディング戦略がわかります。たとえば、通信に制約のあるワークロードは、高次テンソル並列処理など、通信をさらに増やすシャーディング戦略のメリットを享受できません。

シャーディング戦略の決定フレームワーク

MaxText には、さまざまなシャーディング戦略が用意されています。最適な選択は、モデル アーキテクチャ、シーケンス長、計算負荷と通信オーバーヘッドのバランスを取る必要性によって異なります。

  • 完全にシャーディングされたデータ並列処理(FSDP): これは、データ並列処理に推奨されるデフォルトの戦略です。FSDP は、モデルの重み、勾配、オプティマイザの状態をデータ並列デバイスにシャーディングします。計算中、各デバイスは All-Gather オペレーションを実行して、ローカル マイクロバッチに必要な完全な重みを取得します。FSDP は、デバイスごとのバッチサイズがこの All-Gather 通信のレイテンシを隠すのに十分な大きさである限り、非常に効果的です。Mixture-of-Experts(MoE)モデルの場合、算術強度の計算ではスパース性を考慮する必要があります。
  • テンソル並列処理(TP): TP は、デバイス間で個々のテンソルをシャーディングします。通常、テンソルは多層パーセプトロン(MLP)とアテンション ブロックの重み行列です。ハードウェアの演算強度が高い(11.5k)ため、ICI で TP を有効にするには、モデルの次元に非常に高い要件が課されます。TP を使用しようとすると、システムが通信に制限される可能性があります。
  • エキスパート並列処理(EP): これは、MoE モデルのトレーニングに必要な標準的な戦略です。EP は、一連のデバイスに「エキスパート」レイヤをシャーディングします。All-to-All 通信コレクティブを使用して、トークンを指定されたエキスパート デバイスにルーティングします。モデルの MLP ディメンションがルーフラインに近づくほど大きい場合、EP は効率的です。
  • コンテキスト並列処理(CP): CP は、シーケンス長が非常に長いモデルのトレーニングに不可欠な特殊な戦略です。主な機能は、アクティベーションのメモリ消費量を管理することです。アクティベーションのメモリ消費量は、シーケンス長とともに二次的に増加し、HBM 容量を超える可能性があります。CP は、活性化テンソルのシーケンス ディメンションをシャーディングします。これにより、デバイスごとのバッチサイズを小数で指定できます。CP は FSDP よりも通信量が多くなるため、一般的には、メモリ制約を満たし、バッチ軸のシャードが整数のままになるように、必要な最小限の CP 度を使用します。

次の表に、一般的なワークロード タイプと最適なシャーディング戦略のマッピングを示します。

ワークロード タイプ 推奨されるプライマリ シャーディング セカンダリ シャーディング 主なボトルネック 根拠
高密度モデル - 短いシーケンス FSDP なし 再マテリアライズ、FF Matmul FSDP は最適なバランスを提供します。シーケンスが短い場合、アクティベーション メモリは大きな問題にならない可能性があります。鍵となるのは、FSDP の重み All-Gather を隠すのに十分な大きさのグローバル バッチです。バッチサイズが大きくなると、アクティベーション サイズも大きくなります。この構成でメモリ不足にならないようにするには、適切な再マテリアライズ ポリシーが必要です。
高密度モデル - 長いシーケンス FSDP CP Flash Attention、アクティベーション メモリ 活性化メモリが主な制約になります。CP は、デバイスごとのバッチサイズを小数で有効にし、メモリ不足(OOM)の問題を回避するために必要です。Flash Attention は、コンピューティングと時間の浪費の主な原因です。
MoE モデル - 短いシーケンス FSDP + EP なし All-to-All(エキスパート ルーティング)、再マテリアル化 MoE モデルでは、エキスパートをシャーディングするために EP が必要です。トークン ルーティングの All-to-All 通信は、オーバーラップする必要がある大きなボトルネックです。再マテリアライズも、無駄の大きな原因です。
MoE モデル - 非常に大規模 FSDP + EP + PP モデル並列処理(MP) 前述のすべてのボトルネックとパイプライン バブル 単一の Pod のメモリを超えるモデルの場合、Pod 間でレイヤをシャーディングするために PP が必要です。これにより、DCN 通信とパイプライン バブルのオーバーヘッドが発生します。これは非常に複雑な構成であり、慎重なチューニングが必要です。

通信の最適化

TPU7x で通信とコンピューティングをオーバーラップさせる主なメカニズムは、SparseCore Collective Offloading と呼ばれます。Ironwood アーキテクチャには、専用の SparseCore ユニットが含まれています。これは、ICI ファブリックを介したデータ移動を管理できる独立した制御スレッドとして機能します。これにより、集団通信演算(All-Gather や Reduce-Scatter など)を、TensorCore で行われるメインの計算と並行して実行できます。これは、TPU7x での非同期集団に推奨される方法です。推奨フラグを使用して、最も一般的なコレクティブのオフロードを有効にします。

アクティベーションの再マテリアライズ

活性化の再マテリアライズ(勾配チェックポイントとも呼ばれます)は、モデルの HBM フットプリントを削減するための基本的な手法です。フォワードパスからの中間アクティベーションをすべて HBM に保存してバックワードパスで使用するのではなく、いくつかの重要なアクティベーション(チェックポイント)のみを保存し、バックワードパス中にオンデマンドで他のアクティベーションを再計算します。これにより、計算量が増加する代わりに、メモリを大幅に節約できます(標準の Transformer ブロックの場合、FLOP が約 25 ~ 30% 増加します)。

再マテリアライズをどの程度積極的に適用するかは、主にボトルネックに依存する重要なチューニング パラメータです。ボトルネックは、シーケンスの長さによって異なることがよくあります。

長いシーケンスのワークロードの場合(128k など): このような場合、HBM の主な消費要因は、活性化テンソルのサイズです。ワークロードは通常、メモリバウンドです。したがって、積極的な再マテリアライズ ポリシーを適用することは非常に有益です。メモリを節約することで、メモリ不足エラーを発生させずにトレーニングを続行でき、バッチサイズを大きくすることもできます。再計算のコンピューティング オーバーヘッドは、価値のあるトレードオフです。

短いシーケンスのワークロードの場合(8k など): このような場合、アクティベーション メモリはそれほど問題にならず、ワークロードはコンピューティング バウンドになる可能性が高くなります。再マテリアライズの計算オーバーヘッドは、非効率性の最大の原因となる可能性があります。

MaxText での再マテリアライズ ポリシーのチューニング

MaxText では、remat_policy フラグを使用して構成された一連のプリセット ポリシーとカスタム ポリシーを使用して、再マテリアライズをきめ細かく制御できます。

プリセット ポリシー

MaxText には、次の組み込みポリシーが用意されています。

  • full: 最も積極的なポリシーで、ほぼすべてを再マテリアライズします。これにより、HBM の使用量は最小限に抑えられますが、再計算のオーバーヘッドは最大になります。メモリが極端に制限された、長いシーケンスのシナリオに最適です。
  • minimal: 最も積極性の低いポリシー。ほとんどの活性化を保存します。これにより、HBM の使用量が最大化されますが、再計算は最小限に抑えられます。メモリが問題にならない、短いシーケンスのコンピューティング バウンド ワークロードに最適です。
  • 中間ポリシー: save_dot_with_context_except_mlp、save_qkv_proj、save_out_proj などのオプションは、コストの高いドット積演算の出力を選択的にチェックポイントし、コストの低い要素単位の演算を再マテリアライズすることで、さまざまなトレードオフを提供します。

カスタム ポリシー

より詳細に制御するには、remat_policy を custom に設定します。これにより、モデルのデコード モジュール内の個々のレイヤの動作を指定できます。各レイヤには、次の 3 つの動作のいずれかを割り当てることができます。

  • device: 活性化は TPU デバイスの HBM に保存されます。
  • remat: アクティベーションは破棄され、バックワード パス中に再マテリアライズされます。
  • offload: 活性化は HBM から CPU ホストのメモリに移動され、PCIe 転送レイテンシと引き換えに HBM が解放されます。

スコープ付き VMEM チューニング

フラッシュ アテンションなどのカーネルのパフォーマンスは、カーネルで選択されたタイルサイズに依存します。タイルサイズは、使用可能なベクトルメモリ(VMEM)によって制限されます。TPU7x チップの 2 つの TensorCore には、それぞれ 64 MiB のベクトルメモリ(VMEM)が搭載されています。この VMEM 容量は、現在のスコープ(スコープ付き VMEM)と将来の重みのプリフェッチに分割できます。スコープ付き VMEM を増やすと、カーネルのタイルサイズを増やすことができます。これにより、メモリストールが減少し、カーネルのパフォーマンスが向上する可能性があります。スコープ付き VMEM サイズを変更するには、xla_tpu_scoped_vmem_limit_kib(LIBTPU_INIT_ARGS 内)を設定します。これは、カーネルのパフォーマンスとエンドツーエンドのパフォーマンスの上限を調べるために使用できます。スコープ付き VMEM サイズを最適化すると、スコープ付き VMEM を増やすことで、カーネル内タイルサイズのハイパーパラメータ検索空間が大きくなるため、カスタム Pallas カーネルのパフォーマンスに間接的に影響する可能性があります。

Tokamax カーネル

Tokamax は、高度に最適化された TPU カーネルを多数備えた高パフォーマンスの JAX カーネル ライブラリです。このライブラリは、ハードウェア固有の一般的なボトルネックに対処します。

  • Splash Attention: Splash Attention は、標準的なアテンションの HBM ボトルネックを解消するための主要なアテンション実装として使用され、TPU で最も効率的なアテンション実装を使用します。
  • Megablox グループ化行列乗算(GMM): MoE ワークロードの場合、Megablox は不規則な活性化表現を計算することで、グループ化行列乗算を効率的に処理します。ラギッド ディメンションを効率的にマッピングし、LHS のラギッドな行グループと対応するエキスパート マトリックスの間で行列乗算を計算します。これにより、バッチを固定サイズにパディングする必要がなくなります。
  • tune-jax を使用した経験的チューニング: tune-jax ライブラリには、最適なブロックサイズを経験的に検索するためのユーティリティが用意されています。デフォルトのカーネルサイズは最適でないことがよくあります。チューニングにより、ハードウェアに適した VMEM タイルサイズを選択して、ハードウェアの使用率を最大化できます。
  • 最大ロジット推定値: Tokamax Splash アテンション カーネルは、max_logit_const の値を設定することでさらに最適化できます。設定すると、アテンションの softmax 演算(softmax(Q * KT))中に最大ロジットの削減計算が置き換えられ、計算と同期のオーバーヘッドが削減されます。MaxText では、構成 use_max_logits_estimate によって実装されます。これは None(無効)または浮動小数点値に設定できます。特定のモデルのロジット範囲が推定値と互換性を維持していることを確認して、数値オーバーフローを防ぎます。この値を設定する場合は、収束テストを行うことをおすすめします。