クラウド ストレージ データフィードを v2 コネクタ フレームワークにアップグレードする

以下でサポートされています。

データ取り込みパイプラインの信頼性、拡張性、パフォーマンスを向上させるため、クラウド ストレージ データフィードを新しい v2 コネクタ フレームワークにアップグレードします。この新しいフレームワークでは、 Google Cloud Storage Transfer Service（STS）を使用します。

v2 コネクタ フレームワークのメリット

v2 コネクタ フレームワークにアップグレードすると、データフィードが大幅に改善されます。以下に例を示します。

  • ポーリング効率の向上: AWS などのソースからのポーリングの効率が大幅に向上します。
  • 信頼性とセキュリティの向上: ソースの認証情報をリアルタイムで検証することで、安全で信頼性の高い接続を確保できます。
  • ID サポートの拡大: AWS フェデレーション ID の組み込みサポート。

移行のスケジュール

Cloud Storage、Amazon S3、Amazon SQS、Azure Blob Storage の以前のコネクタの v1 コネクタ フレームワークはサポート終了となります。

次の重要なマイルストーンに注意してください。

  • 2026 年 10 月 1 日 - サポート終了: v1 フィードの更新は提供されなくなり、ベスト エフォート サポートのみが提供されます。この日までにフィードを移行して対応することで、Google がフィードを移行して中断を回避できるようにすることをおすすめします。
  • 2027 年 3 月 15 日 - 永久的な無効化: 以前のコネクタはサポート終了となります。この日以降、v1 コネクタを使用しているデータフィードは機能しなくなり、エラー メッセージが返されます。

自動移行と必要な対応

移行をスムーズに進めていただけるよう、以前の v1 コネクタを使用しているすべてのアクティブなデータフィードについて、自動移行サービスを提供しています。

ソースタイプに応じて、自動移行を成功させるために次の対応を行う必要があります。

  • Cloud Storage: サービス アカウントへのアクセス権の付与の説明に沿って、新しいサービス アカウントに特定の権限を付与します。
  • Amazon S3: 環境で IP 許可リストを使用している場合は、STS IP 範囲をバケット ポリシーに追加する必要があります。Amazon S3 の STS アクセスを有効にする手順に沿って操作します。
  • Amazon SQS: 移行では、単一の Amazon S3 バケットからのメッセージを含む SQS キューのみがサポートされます。キューが複数のバケットからメッセージを受信する場合は、バケットごとに個別のフィードを作成します。SQS キューが正しく構成されていることと、SQS キューと Amazon S3 バケットの両方のアクセス認証情報が同一であることを確認します。
  • Microsoft Azure: ファイアウォールまたは仮想ネットワークを使用している場合は、Azure STS アクセスの手順に沿って STS IP 範囲を許可します。
  • 失敗したフィード: 現在のフィードを確認し、認証情報の誤りが原因で失敗しているフィードを修正して、正常に移行できるようにします。

安全性と信頼性

自動移行プロセスは、データ損失を防ぐことを目的としています。移行には、厳格な組み込みガードレールが備わっています。移行期間中は、データが重複する可能性は最小限に抑えられます。

さらにサポートが必要な場合コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。