このページでは、Cloud Storage と Storage Transfer Service の既知の制限事項について説明します。
一般的な制限事項
Cloud Storage の 5 TiB のオブジェクト サイズの上限
Cloud Storage は、最大 5 テビバイトの単一オブジェクト サイズをサポートしています。オブジェクトが 5TiB を超える場合、Cloud Storage または Storage Transfer Service のオブジェクトの転送は失敗します。
Cloud Storage のオブジェクトの命名要件
Cloud Storage では、オブジェクト命名要件が定められており、すべての Storage Transfer Service 転送に適用されます。
変更されたオブジェクトが転送されない
Storage Transfer Service では、転送中にソースファイルがロックされることはありません。
転送中にオブジェクトのデータが更新されると、Storage Transfer Service が次のようなレスポンスを返します。
Google Cloud 以外のクラウドから Google Cloudへの転送: 転送中にオブジェクトのデータが更新された場合、Storage Transfer Service はそのオブジェクトの転送に失敗し、オブジェクトは転送されません。
ファイル システムから Google Cloudへの転送: 転送中にオブジェクトのデータが更新されると、Storage Transfer Service はアップロードを再試行します。アップロードが複数回失敗すると、Storage Transfer Service は
FILE_MODIFIED_FAILUREをサービスログに記録します。詳細については、トラブルシューティングをご覧ください。Google Cloud からファイル システムへの転送: 転送中にオブジェクトのデータが更新されると、Storage Transfer Service はもう一度ダウンロードを試みます。ダウンロードが複数回失敗すると、Storage Transfer Service は
PRECONDITION_FAILUREをログに記録します。詳細については、トラブルシューティングをご覧ください。
この障害を解決するには、次のようにします。
- 再度転送を試みます。
オブジェクトの転送失敗が続く場合は、転送中にデータが更新されないように、次の設定を行ってください。
- Cloud Storage ソース - オブジェクトの保留を設定します。
- Amazon S3 ソース - S3 オブジェクト ロックを設定します。
- Microsoft Azure Storage ソース - Blob Storage の不変ポリシーを設定します。
- ファイルシステム ソース - ファイルを読み取り専用モードに設定するか、転送するファイルへの書き込みを制限します。
転送が完了したら、オブジェクトの更新を再度有効にできます。
Cloud Storage のフォルダ
階層型名前空間が有効になっていないバケットでは、Cloud Storage オブジェクトはフラットな名前空間に存在します。詳細については、オブジェクトの名前空間をご覧ください。これらのバケットでは、Storage Transfer Service はフォルダを作成しません。ディレクトリ構造はオブジェクト名の接頭辞でのみ表されます。 たとえば、Azure Data Lake Storage(ADLS)Gen 2 からフラットな名前空間バケットに転送する場合、Storage Transfer Service は Cloud Storage で ADLS Gen 2 名前空間を再作成しません。 階層型名前空間が有効になっているバケットについては、Cloud Storage 階層型名前空間バケットを転送するをご覧ください。
バージョニングが停止された Amazon S3 バケット内のオブジェクトの削除
バージョニングが停止された Amazon S3 バケットで、Storage Transfer Service の「転送後に転送元のオブジェクトを削除する」機能を使用すると、Storage Transfer Service は、最新のバージョンではなく null のバージョン ID を持つオブジェクトを削除します。
Storage Transfer Service ジョブのロケーション
Storage Transfer Service では、転送元の Cloud Storage バケットのリージョンに基づいてロケーションが選択されます。 現時点では、次のロケーションに Storage Transfer Service ジョブを作成しています。このリストは、Storage Transfer Service で新しいリージョンのサポートが追加されたときに、変更される可能性があります。
ソースの Cloud Storage バケットがリストにないリージョンにある場合は、ソースの外側のリージョン内のデフォルト リージョンが選択されます。
| サポートされているロケーション | ||
|---|---|---|
| africa-south1 | europe-north1 | nam4 |
| asia-east1 | europe-north2 | northamerica-northeast1 |
| asia-east2 | europe-southwest1 | northamerica-northeast2 |
| asia-northeast1 | europe-west1 | northamerica-south1 |
| asia-northeast2 | europe-west2 | southamerica-east1 |
| asia-northeast3 | europe-west3 | southamerica-west1 |
| asia-south1 | europe-west4 | us-central1 |
| asia-south2 | europe-west6 | us-central2 |
| asia-southeast1 | europe-west8 | us-east1 |
| asia-southeast2 | europe-west9 | us-east4 |
| asia-southeast3 | europe-west10 | us-east5 |
| asia1 | europe-west12 | us-east7 |
| australia-southeast1 | me-central1 | us-west1 |
| australia-southeast2 | me-central2 | us-west2 |
| me-west1 | us-west3 | |
| us-west4 |
ファイル システム転送の既知の制限事項
リアルタイム サポートなし
Storage Transfer Service では、1 時間未満の変更の検出はサポートしていません。Storage Transfer Service は、1 時間に 1 回の頻度でソースをスキャンできるバッチデータ移動サービスです。
サポートされているオペレーティング システムの構成
転送エージェントは、Linux サーバーまたは仮想マシン(VM)上の Docker コンテナまたは Podman コンテナで実行されます。CIFS または SMB ファイル システムにデータをコピーするには、Linux サーバーまたは VM にボリュームをマウントしてから、Linux サーバーまたは VM からエージェントを実行します。
メモリ要件
転送エージェントのメモリ要件は次のとおりです。- 最小メモリ: 1 GiB
- ハイ パフォーマンス アップロードをサポートする場合の最小メモリ: 6 GiB
スケーリングの制限事項
Storage Transfer Service は、次の個別転送をサポートします。
- 数百テラバイトのサイズ
- 最大 10 億ファイル
- 数 10 Gbps の転送速度
これらのサイズを上回る個別の転送も可能ですが、パフォーマンスのテストは行われていません。
これらの制限よりも大きなデータセットがある場合は、データを複数の転送ジョブに分割することをおすすめします。
現在、最大ディレクトリの 100 万ファイルごとに少なくとも 1 GB のメモリがある限り、ディレクトリのコンテンツを反復処理できるため、メモリ不足になることなく大きなディレクトリをサポートできます。
エージェントとエージェント プールの制限事項
1 つのエージェント プールで最大 100 個のエージェントをサポートします。標準的な特定の環境でパフォーマンスを向上させるために、より多くのエージェントが必要になることはほとんどありません。
プロジェクトごとに、最大 800 のエージェント プールがサポートされています。
ジョブごとに 1 つのディレクトリ
各転送ジョブは、1 つのファイル システム ディレクトリの内容を(再帰的に)転送します。そのディレクトリから特定のファイルのみを転送するには、マニフェストを使用します。複数のディレクトリを転送するには、ディレクトリごとに 1 つのジョブを作成します。ファイル システム転送では、ファイル グロビングはサポートされていません。
サポートされているファイル名
次のルールは、転送に含まれるすべてのファイル名に適用されます。
- ファイル名には UTF-8 エンコードを使用する必要があります。
- ファイル名は Unicode に対応させる必要があります。
- 改行(
\n)や復帰(\r)を含めることはできません。
ソース ディレクトリにサポートされていないファイル名が含まれている場合、そのディレクトリのファイル一覧表示タスクは失敗します。
これが発生した場合は、サポートされていないファイル名を更新して、ジョブを再実行します。
サポートされているファイル形式
Storage Transfer Service は、通常のファイルや Unix のような隠しファイルの転送をサポートします。Unix スタイルの隠しファイルは、. 文字で始まるファイルです。Storage Transfer Service はデバイス、名前付きパイプ、ソケットなどの非標準のファイルを検出すると UNSUPPORTED_FILE_MODE エラーを出力します。
Cloud Storage 内に空のディレクトリは作成されません。これは、オブジェクトがバケット内のサブディレクトリに存在しないためです。詳細については、オブジェクトの名前空間をご覧ください。
パスの最大長
Storage Transfer Service は、Cloud Storage のパスの最大長である 1,024 バイトに従います。宛先オブジェクトのオブジェクト接頭辞は、Cloud Storage のオブジェクト名に含まれているとおり、この長さ制限にも含まれます。
サポートされているファイル メタデータ
デフォルトで保持されるメタデータや、オプションで保持されるメタデータの詳細については、メタデータの保持をご覧ください。
長期にわたるジョブの一時停止
30 日間以上一時停止されているジョブは非アクティブとみなされます。ジョブが非アクティブの場合、一時停止ジョブは中断され、ジョブ構成スケジュールは無効になります。ジョブを明示的に再度有効にしない限り、新しくジョブが実行されることはありません。
ファイル システムのソースのセキュリティ
エージェント アクセス
転送ジョブを作成できるユーザーは、エージェントからアクセス可能な任意のファイル システム ディレクトリに対して、データの取得やダウンロードを行うことができます。エージェントが root として実行され、ファイル システム全体にアクセスできる場合、悪意のある行為者がホストを乗っ取るおそれがあります。必要なディレクトリのみにエージェントのアクセスを制限することを強くおすすめします。