Gemini Enterprise Agent Platform の MLOps

このセクションでは、ML ワークフローで ML オペレーション(MLOps)を実装する際に役立つ Gemini Enterprise Agent Platform サービスについて説明します。

モデルのデプロイ後、モデルは、環境内のデータの変化に対応して、最適なパフォーマンスを発揮し、妥当性を維持する必要があります。MLOps は ML システムの安定性と信頼性を向上させる一連の手法です。

Gemini Enterprise Agent Platform MLOps ツールは、予測モデルのモニタリング、アラート、診断、実用的な説明を通じて、AI チーム間のコラボレーションとモデルの改善を支援します。すべてのツールはモジュール式であるため、必要に応じて既存システムに統合できます。

MLOps の詳細については、ML における継続的デリバリーと自動化のパイプラインと MLOps の実践ガイドをご覧ください。

MLOps 機能の図

  • ワークフローをオーケストレートする: 複数のステップからなる ML 処理を手動で実行すると、時間がかかり、エラーが発生しやすくなります。パイプラインを自動化、モニタリング、管理するために、 Google Cloud はアーキテクチャのスコープに合わせてオーケストレーターを提供します。

    • Gemini Enterprise Agent Platform Pipelines: Kubeflow Pipelines または TFX を使用して Agent Platform エコシステム内で厳密に動作する、自己完結型のコンテナネイティブ ML ワークフローに最適なサーバーレス オーケストレーター。純粋なモデルのトレーニングとデプロイのループに最も適した選択肢です。

    • Managed Service for Apache Airflow: エンドツーエンドのエンタープライズ MLOps に最適なフルマネージド Apache Airflow 環境。パイプラインに異種性が必要な場合(BigQuery または Dataflow でのデータ パイプラインのオーケストレーション、Agent Platform でのトレーニング、外部 CRM またはデータレイクへの予測の push など)、Managed Airflow は統合コントロール プレーンとして機能します。1,000 を超える事前構築済みの統合の広範なライブラリにより、カスタム コンテナの技術的負債を排除します。Airflow Python DAG を作成する代わりに、Managed Airflow にはOrchestration Pipelinesが用意されています。これは、Managed Service for Apache Spark で PySpark ジョブを実行したり、BigQuery で SQL ジョブを実行したりするための実行エンジンのマトリックスをすぐに使用できる宣言型の YAML フレームワークです。

  • トレーニング ジョブの管理とスケーリング: トレーニング用のコンピューティング リソースを効率的に管理することは、特に実験から本番環境にスケーリングする場合に、MLOps の中心的な課題となります。Vertex AI Training は、ML ライフサイクル全体に適合するコンピューティング オプションを備えた柔軟なフルマネージド サービスを提供することで、この問題に対処します。

    • 試験運用や変動の大きいワークロードの場合、カスタム トレーニングでは、リソースをオンデマンドでプロビジョニングするデフォルトのサーバーレス プラットフォームが使用され、最大限の柔軟性が得られます。

    • 大規模で予測可能なワークロードの場合、予約済みクラスタ上の Gemini Enterprise Agent Platform トレーニング クラスタは、リソースの可用性の確保、安定したパフォーマンスの提供、使用率の高いチームの費用最適化を図るため、永続的な専用環境を提供します。

  • ML システムで使用されるメタデータを追跡する: データ サイエンスでは、ML ワークフローで使用されるパラメータ、アーティファクト、指標を追跡することが重要です。特に、ワークフローを複数回繰り返す場合に重要です。

    • Vertex ML Metadata を使用すると、ML システムで使用されるメタデータ、パラメータ、アーティファクトを記録できます。その後、そのメタデータに対しクエリを実行して、ML システムまたはそれが生成するアーティファクトのパフォーマンスを分析、デバッグ、監査できます。
  • ユースケースに最適なモデルを特定する: 新しいトレーニング アルゴリズムを試す場合は、どのトレーニング済みモデルのパフォーマンスが最も優れているかを把握する必要があります。

    • Vertex AI Experiments を使用すると、さまざまなモデル アーキテクチャ、ハイパーパラメータ、トレーニング環境を追跡、分析して、ユースケースに最適なモデルを特定できます。

    • Vertex AI TensorBoard を使用すると、ML テストの追跡、可視化、比較を行い、モデルのパフォーマンスを測定できます。

  • モデル バージョンを管理する: 中央リポジトリにモデルを追加すると、モデル バージョンを追跡できます。

    • Gemini Enterprise Agent Platform Model Registry では、モデルの概要を確認できるため、新しいバージョンの整理、追跡、トレーニングを行いやすくなります。Model Registry では、モデルの評価、エンドポイントへのモデルのデプロイ、バッチ推論の作成、特定のモデルとモデル バージョンの詳細の表示を行うことができます。
  • 特徴を管理する: 複数のチームで ML の特徴を再利用する場合は、特徴を迅速かつ効率的に共有、提供できる方法が必要です。

    • Vertex AI Feature Store には、ML の特徴を整理、保存、提供するための中央リポジトリが用意されています。一元的な featurestore を使用することで、組織は ML の特徴を大規模に再利用でき、新しい ML アプリケーションの開発とデプロイにかかる時間を短縮できます。
  • モデルの品質をモニタリングする: 本番環境にデプロイされたモデルは、トレーニング データに類似した推論入力データに対して最適のパフォーマンスを発揮します。入力データがモデルのトレーニングに使用するデータから外れると、モデル自体に変化がなくても、モデルのパフォーマンスは低下する可能性があります。

    • Gemini Enterprise Agent Platform Model Monitoring は、トレーニング サービング スキューと推論ドリフトをモニタリングし、受信する推論データのスキューがトレーニング ベースラインから遠すぎる場合にアラートを送信します。アラートと特徴量分布を使用して、モデルの再トレーニングが必要かどうかを評価できます。
  • AI と Python アプリケーションをスケーリングする: Ray は、AI と Python アプリケーションをスケーリングするためのオープンソース フレームワークです。Ray は、ML ワークフローの分散コンピューティングと並列処理を実現するためのインフラストラクチャを提供します。

    • Ray on Agent Platform は、同じオープンソースの Ray コードを使用して、最小限の変更でプログラムを作成し、Gemini Enterprise Agent Platform でアプリケーションを開発できるように設計されています。これにより、ML ワークフローの一部として、Vertex AI Inference や BigQuery など、他の Google Cloud サービスとの Gemini Enterprise Agent Platform のインテグレーションを使用できます。

次のステップ