对于从 Amazon S3 进行的转移作业,您可以按存储类别过滤对象。
默认情况下,从 Amazon S3 转移数据时:
- 系统会转移 Standard 存储类别和非归档存储类别(包括 Glacier Instant Retrieval [
GLACIER_IR])中的对象。 - Glacier Deep Archive (
DEEP_ARCHIVE) 中的对象只有在恢复后才会被转移。 - 无论恢复状态如何,Glacier Flexible Retrieval (
GLACIER) 中的对象都会被跳过。
指定存储类别列表
如需指定要包含的存储类别,请执行以下操作:
Google Cloud 控制台
按照将数据从 Amazon S3 传输到 Cloud Storage 中的说明操作。
指定转移作业的来源和目的地后,选择按存储类别过滤,然后选择要包含的存储类别。
gcloud CLI
gcloud CLI 不支持此功能。
REST
使用 transferSpec.objectConditions.includeStorageClasses 选项指定要包含的存储类别。
例如,如需仅转移 STANDARD 和 GLACIER 存储类别,请运行以下命令:
POST https://storagetransfer.googleapis.com/v1/transferJobs { "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "AWS_SOURCE_NAME", "awsAccessKey": { "accessKeyId": "AWS_ACCESS_KEY_ID", "secretAccessKey": "AWS_SECRET_ACCESS_KEY" } }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" }, "objectConditions": { "includeStorageClasses": ["STANDARD", "GLACIER"] } } }
如果指定了 includeStorageClasses 且不为空,则仅转移属于指定存储类别的对象。
对于从 Amazon S3 进行的转移作业,有效值列在 AWS 文档中:https://docs.aws.amazon.com/AmazonS3/latest/userguide/sc-howtoset.html。
已归档的对象
S3 Glacier Deep Archive (DEEP_ARCHIVE) 和 S3 Glacier Flexible Retrieval (GLACIER) 中的对象必须先恢复,然后才能转移。
Storage Transfer Service 提供计数器,用于跟踪在转移过程中跳过的归档对象:
unrestoredDeepArchiveObjectsSkippedCount:因未恢复而被跳过的 Glacier Deep Archive (DEEP_ARCHIVE) 对象数量。unsupportedS3GlacierObjectsSkippedCount:因未恢复或未指定GLACIER为包含的存储类型而跳过的 Glacier Flexible Retrieval (GLACIER) 对象数量。