最適化の目標を定量化する

最適化ターゲットは、AlphaEvolve が各世代で最大化する単一の数値を表します。評価コードを記述する前に、次の 3 つの質問に答えてください。

  1. この数値は何を表していますか。

  2. システムはどのように計算するのか

  3. 計算はどこで実行されますか？

AlphaEvolve では、すべての候補ソリューションに対して、人手を介さずに自動化されたプログラムによるターゲット計算を行う必要があります。この自動化により、この問題は AlphaEvolve に適したものになります。人間がソリューションの品質を手動で判断する必要がある場合、AlphaEvolve はそのソリューションを検索できません。

生成された候補ソリューションのパフォーマンスを、さまざまな最適化目標と検証制約で推定するには、次の点を考慮してください。

  • 最適化目標は、経験的な測定を必要とせずに、ビジネスまたはプロダクトのロジックを使用して直接計算できますか？
  • 生成されたソリューションのコードでパフォーマンス テストと負荷テストを実行して、最適化目標を直接測定できますか？
  • 最適化目標は、確立された信頼性の高いシミュレーション方法である決定論的サロゲート関数を使用して推定できますか？
  • 経験的観測値のチューニングとサンプル外データの検証を必要とするカスタム サロゲート関数（予測モデルや別の非決定論的推定器など）を設計することで、最適化目標を推定できますか？

ターゲットを定量化するための主なステップ

構造化されたアプローチに従って、AlphaEvolve に信頼性の高い自動フィードバック ループを組み込み、検索をガイドします。次の手順に沿って、指標を確立し、測定方法を定義して、実行場所を決定します。

1. ソリューションが改善するにつれて増加する単一のスコアとしてターゲットを表現する

コア最適化指標を、実際のパフォーマンス向上に合わせて線形または単調にスケーリングするように構成して、検索パスに明確な方向性のある勾配を持たせます。

  • スカラーの最大化: AlphaEvolve は常に 1 つのスカラー値を最大化します。重視するものを、数値が大きいほど良い単一の数値に変換します。レイテンシ、費用、エラーを最小限に抑えるには、否定します。score = -latency_ms

  • 単調性: スコアは単調でなければなりません。ソリューションが実際に改善されるたびに、スコアが上昇する必要があります。スコアが不規則に変化すると、検索の方向性が定まりません。

  • 決定的実行: スコアは、LLM や人間ではなく、評価者によって計算されます。同じ候補が常に同じスコアになるように、決定論的に計算します。

  • 主観的な目標のコンジョイント分析: スコアリング式を記述できないが、2 つのソリューションを目視で比較できる場合は、コンジョイント分析を使用して作成します。候補出力のペアを生成し、ドメイン エキスパートに各ペアでより良いものを選択してもらい、それらの選択にロジスティック回帰を適合させ、適合したモデルを指標として使用します。これにより、主観的な判断が、決定論的で微分可能なスコアに変換されます。未加工の LLM ルーブリックをライブスコアとして使用しないでください。これは、処理が遅く、ノイズが多く、報酬ハッキングが容易であるためです。まず、固定関数に抽出します。

2. スコアの計算方法を選択する

数値を生成する方法は、測定対象によって異なります。目的に合った方法を次の表から選択してください。ほぼすべての実際のデプロイでは、これら 4 つのうちの 1 つを使用します。多くの場合、2 つを組み合わせて、安価な方法で検索を推進し、高価な方法で勝者を確認します。

測定方法 ターゲットが次の場合に使用します。 スコアの算出方法 実行に必要なもの
直接計算 ビジネス ロジックまたはプロダクト ロジックを使用して、候補の出力からクローズド フォームで計算できる数量 評価ツールが候補を実行し、数式（合計、比率、カウント、費用）を適用する コントローラの独自のプロセス - 追加のインフラストラクチャは不要
パフォーマンス テストまたは負荷テスト 候補コード自体のランタイム、スループット、メモリ 代表的なハードウェアで候補を実行して測定する。まず正確性を確認する ターゲット ハードウェア（GPU、TPU、CPU）。タイミング ノイズをカットするためのウォームアップと best-of-N
決定論的サロゲート / シミュレーション 直接測定するには費用がかかるか、ノイズが多いが、信頼できるプロキシまたは実際の条件の再現が存在する 決定論的プロキシを計算する、または固定されたシード付きの動作シナリオを再生する 任意の環境。固定シードで完全に再現可能
サンプル外検証 候補者が作成するモデルまたはデータ パイプラインの品質 候補をトレーニング / フィットさせてから、ホールドアウト データまたは新しく生成されたデータでスコアを付ける トレーニング / 評価スタック、厳密なトレーニングと検証の分割、ホールドアウト セットでの勝者の再検証

詳細については、 Google Cloud ブログの AlphaEvolve のお知らせをご覧ください。

これらのいずれも数値を自動的に生成できない場合、その問題は AlphaEvolve に対応していません。したがって、主なタスクは、それが可能なサロゲートまたはシミュレーションを構築することです。

3. 複数の目標と制約を処理する

実際の目標は通常、複数の懸念事項が混在しています。次の 2 つの方法のいずれかを使用します。

  1. 評価ツールの実装パターン

  2. 多目的最適化

スカラー ブレンディング（最もシンプル - 最初に試すことをおすすめします）: 各指標を比較可能な範囲に再スケーリングし、最小化する指標を否定してから、それらを加算します（score = w1*A - w2*L - w3*M）。

A/(L⋅M) のような比率よりも、加算和を優先します。これは、数値的に不安定です。

名前付きスコアの辞書を返します。AlphaEvolve がこれらを共同で最適化できるようにします。評価ツールは、1 つの数値ではなく、複数の名前付き指標を返すことができます。

```JSON
{
  "scores": [
    {"metric": "accuracy", "score": 0.95},
    {"metric": "latency_ms", "score": -120.0}
  ]
}
```

各指標は高いほど良いため、最小化する指標はすべて否定します。これにより、レポートだけでなく、真の多目的検索がトリガーされます。母集団データベースは、指標ごとに最適なプログラム（MAP-Elites）を保持し、指標全体でパレート フロンティアを維持し、さまざまな指標で親を多様にサンプリングします。このサンプリングが有効になっている場合は、パレート フロンティアから直接親を抽出することもできます。1 つのヘッドライン スコアが、報告されたヒルクライムを推進しますが、返されたすべての指標が検索を形成します。

  1. 指標を 3 ～ 5 個に抑える: 指標が多すぎると、パレート優位性が低下し、ほぼすべてのプログラムが何らかの指標で非優位となり、検索が迷走します。そのしきい値を超える指標を集計またはドロップします。

  2. 正確性と実現可能性を分離する: 正確性は報酬関数の一部ではなく、厳格なゲートとして維持します。間違っているか、実現不可能な候補は、速度やコストに関係なく、不合格スコアを受け取ります。これは、エージェントが指標を操作するのを防ぐための主な防御策です。

  3. 制約の最適化: 1 つの目標を制約として保持し、もう 1 つの目標を最適化します。制約に違反した場合はペナルティを適用します。このワークフローを複数の制約レベルで実行すると、パレート フロントがトレースされます。

4. 評価ツールを実行する場所を決定する

AlphaEvolve が評価ツールを直接実行することはありません。候補プログラムを提案してスコアを受け取ります。スコアを計算するコードをホストして実行します。環境は完全に選択可能であり、Google Cloud で実行できない候補はブロックされません。目的を測定できる場所で評価ツールを実行し、スコアを送信します。

効率的で安全なデプロイを実現するには、ユニバーサル実行制限を遵守しながら、特定の測定戦略に合わせてコンピューティング インフラストラクチャを調整する必要があります。次のガイドラインを使用して、実行環境を選択し、すべての設定に適用されるコア運用境界を理解します。

実行環境を測定方法に合わせる

直接計算またはサロゲート: コントローラの独自のプロセス、または単一の Cloud Run コンテナ。

パフォーマンス テストまたは負荷テスト: GKE の GPU ノードや TPU ノード、独自のオンプレミス ハードウェアやカスタム ハードウェア、サードパーティ ツールや ISV ツール（EDA や Verilog シミュレータなど）などのターゲット ハードウェア。

サンプル外検証または重いジョブ: トレーニング スタックが Cloud Run または GKE にファンアウトされるか、大規模な HPC またはアクセラレータ ワークロードに Cluster Toolkit を使用してGoogle Cloud バッチにオフロードされます。

環境に関係なく適用される 2 つの上限

進化ループが継続的に動作するように、各評価を約 10 分以内に抑えるようにしてください。コストの高い目標の場合は、評価カスケードを使用してすべての候補をチェックし、有望な候補に対してのみ完全な評価を実行します。

評価者のネットワーキング、セキュリティ、アクセス制御は、お客様が所有します。AlphaEvolve は、 Google Cloudやその他の場所で評価ツールをデプロイまたは管理しません。

指標、計算方法、実行場所を決定したら、評価ツールの実装パターンで評価ツールの構成方法を確認します。