ジョブのリソース取得可能性を改善する

このドキュメントでは、リソースの取得可能性について説明し、Batch ジョブの作成と実行時に取得可能性を向上させる方法について説明します。

入手可能性とは

取得可能性とは、ワークロードの実行にリソースを使用できる確率です。リソースが利用できない場合、リソースの可用性エラーによりワークロードが失敗します。取得可能性は、ワークロードがユーザーに利用可能である確率である信頼性に関連していますが、信頼性とは異なります。(可用性は、どちらか一方または両方を意味する場合があります)。

入手可能性と信頼性の関係は複雑です。ワークロードの信頼性を高めるには、リソースを取得する必要があります。ただし、ロケーション、時間、ハードウェアの柔軟性が高まると、取得可能性は向上しますが、信頼性はワークロードの要件を満たす柔軟性によってのみ向上します。たとえば、次の複雑さに注意してください。

  • 高性能なマシンタイプは需要が高いため、入手しにくい場合がありますが、ワークロードのパフォーマンスが不十分な場合は信頼性が低下します。
  • ロケーションの柔軟性を高めると、取得可能性が向上しますが、マシンを密に割り当てると、ネットワーク パフォーマンスが向上します。
  • 時間の柔軟性を高めると、取得可能性が高まりますが、過度に待機すると、不要な遅延が発生する可能性があります。

そのため、取得可能性が高いほど良いとは限りません。最適な取得可能性レベルは、優先事項と要件によって異なります。たとえば、コスト削減を優先するために、取得可能性を低くしたい場合があります。信頼性を優先する場合でも、取得可能性の向上によるメリットと、パフォーマンスの低下や遅延の増加によるリスクのバランスを取る必要があります。

ジョブの取得可能性を改善するための推奨事項

Batch ジョブの取得可能性を向上させるには、次のセクションをご覧ください。

すべての使用オプションに関する推奨事項

  • ワークロードを分離して、大規模で高性能なマシンタイプの必要性を最小限に抑えます。たとえば、まず、依存ジョブを使用して、コンピューティング負荷の高いオペレーションを需要の少ないオペレーションから分離します。次に、並列処理を最大化し、密結合タスクを最小限に抑えることで、各ジョブに必要な最小限のコンピューティング リソースを可能な限り削減します。

    依存ジョブとコンピューティング リソースと並列処理の詳細を確認する。

  • ジョブの Compute Engine リソースに許可されるロケーションの数を最大化する。これはデフォルトで true です。ジョブの allowedLocations[] フィールドを指定しない限り、ジョブの Compute Engine リソースは、ジョブのロケーション内のすべてのゾーンで実行できます。

    ロケーションの詳細

  • より良い取得可能性を待つ前に、フェイルファスト戦略の使用を検討してください。遅延を回避するには、次のようなフェイルファスト戦略を検討してください。

    • リソースの可用性エラーのトラブルシューティングは、別のタイミングでリクエストを試すことで行うことができますが、多くの場合、最初に別のロケーションやハードウェアを試す方が迅速です。
    • 複数の使用オプションを使用できる場合は、まず、遅延のない使用オプション(オンデマンド予約、オンデマンド、Spot VM)を試すことをおすすめします。
    • 繰り返し実行する予定の新しいワークロードの場合は、より迅速に取得できるオプションを一時的に使用して、初期テストとトラブルシューティングを迅速に行うことをおすすめします。

使用オプションに基づく推奨事項

選択する使用オプションは、ジョブの取得可能性の主な要因です。このセクションでは、各使用オプションの概要と、各使用オプションの取得可能性を最適化する方法について説明します。

次の使用オプションは、取得可能性の高い順に並べられています。

  • 取得可能性の要件が高いワークロードには、予約を使用します。予約を使用すると、他のすべての使用オプションよりも容量を確実に確保できます。予約済み容量を使用するには、まず、使用可能な既存の予約を作成または特定します。次に、その予約済み容量を使用するようにインスタンスを構成します。他の使用オプションとは異なり、予約済みインスタンスは、容量が保証されるため、削除するまで使用されていない場合でも費用が発生します。取得可能性を考慮する場合は、次の予約タイプから選択します。

    • 予約済み容量を必要とする場合は、明示的に対象となる予約を消費します。これらの予約を使用すると、予約済みの容量がワークロードで使用可能であることを簡単に確認できます。予約済み容量が使用可能で互換性がない場合、ワークロードは失敗し、エラーが返されます。明示的に対象となっている予約には、RESERVATION_BOUND プロビジョニング モデルのすべての予約と、STANDARD プロビジョニング モデルの一部の予約が含まれます。

      予約を使用するジョブを作成する方法を学習する。

    • オプションの予約容量については、自動的に消費される予約を消費し、インスタンスの柔軟性を使用します。これらの予約オプションは、容量の取得を高いレベルで保証しますが、ワークロードが消費できる予約容量が利用可能な場合に限られます。自動的に使用される予約の場合、STANDARD プロビジョニング モデルを指定し、予約された容量が使用可能で、ワークロードのインスタンス構成と一致していることを手動で確認する必要があります。予約済みの容量が使用できない場合や一致しない場合は、ワークロードは代わりにオンデマンド容量を使用しようとします。ただし、明示的にターゲットを設定した予約とは異なり、自動的に使用される予約でインスタンスの柔軟性を使用すると、ワークロードで自動的に使用される複数の予約を使用できます。

      予約とインスタンスの柔軟性を使用するジョブを作成する方法を学習する。

  • 取得可能性の要件が中程度のワークロードの場合は、インスタンスの柔軟性を備えたオンデマンド容量または Flex Start VM を使用します。次のいずれかのオプションを選択します。

    • マシンタイプが A3 マシンシリーズに属していない場合、またはサポートされていない場合を除き、インスタンスの柔軟性を備えたオンデマンド容量の使用を検討してください。オンデマンド使用オプションには、STANDARD(デフォルト)プロビジョニング モデルが必要です。予約の使用を明示的にブロックしない限り、ワークロードはデフォルトで自動的に使用される予約の使用も試みます。特に、A3 マシンシリーズではオンデマンドはおすすめしません。

      標準プロビジョニング モデルとインスタンスの柔軟性を使用するジョブを作成する方法を学習する。

    • それ以外の場合、またはオンデマンド容量が繰り返し利用できない場合は、Flex Start VM の使用を検討してください。Flex Start VM の消費オプションを使用するには、FLEX_START プロビジョニング モデルを指定します。Flex Start VM では、ワークロードが待機時間と制限された実行期間に耐える必要がありますが、Dynamic Workload Scheduler の料金に基づいて割引が適用されます。

      Flex Start VM を使用するジョブを作成する方法を学習する。

  • 取得可能性の要件が低いワークロードの場合は、複数の取得可能性機能を備えた Spot VM を使用します。Spot VM の消費オプションを使用するには、SPOT プロビジョニング モデルを指定します。Spot VM は常に利用可能であるとは限らず、いつでもプリエンプトされる可能性があるため、フォールト トレラントなワークロードにのみおすすめします。ただし、Spot VM の料金設定により、最大の割引が適用される可能性があります。

    一般的には、作成前に Spot VM の可用性を確認し、ワークロードがプリエンプションを処理できることを確認することをおすすめします。特に Batch ジョブで Spot VM の取得可能性を向上させるには、同じランクの複数のマシンタイプでインスタンスの柔軟性を使用し、自動再試行を使用してプリエンプション後に Spot VM の再作成を自動的に試行することをおすすめします。

    Compute Engine のドキュメントで、Spot VM の可用性を確認する方法と Spot VM のプリエンプションを管理する方法を確認する。次に、Spot VM のプロビジョニング モデル、インスタンスの柔軟性、プリエンプションの自動再試行を使用するジョブを作成する方法を学習します。

次のステップ