소스에 대한 액세스 구성: URL 목록

이 페이지에서는 공개적으로 액세스 가능한 HTTP/HTTPS URL 목록에서 Cloud Storage로 데이터를 전송하기 위한 요구사항을 설명합니다.

URL 목록에서 전송하는 것은 Storage Transfer Service에서 직접 관리하는 에이전트리스 전송입니다.

기본 요건

URL 목록에서 전송을 만들기 전에 다음을 구성했는지 확인합니다.

  • 사용자 권한: 사용자 계정 또는 사용자 관리형 서비스 계정에 전송 작업을 만들 수 있는 권한이 있는지 확인합니다. 필수 사용자 권한을 참조하세요.
  • 대상 버킷 권한: 대상 Cloud Storage 버킷에 필요한 권한을 Storage Transfer Service 서비스 에이전트에 부여합니다. 싱크에 대한 액세스 구성: Cloud Storage를 참조하세요.
  • Cloud Storage에 저장된 URL 목록(선택사항): 공개 HTTP/HTTPS URL이 아닌 Cloud Storage 버킷에 URL 목록 파일을 저장하는 경우 해당 버킷에 Storage Transfer Service 서비스 에이전트 roles/storage.objectViewer 및 roles/storage.legacyBucketReader를 부여합니다. 소스에 대한 액세스 구성: Cloud Storage를 참조하세요.

소스 URL의 요건

Storage Transfer Service가 소스 데이터를 읽을 수 있도록 하려면 다음 요구사항이 충족되는지 확인하세요.

  • 공개 접근성:

    • URL 목록 파일(TSV 형식)은 http:// 또는 https://로 시작하는 URL에서 액세스할 수 있거나 Cloud Storage 버킷에 저장되어 있어야 합니다.
    • 파일에 나열된 각 객체 URL은 http:// 또는 https://를 통해 공개적으로 액세스할 수 있어야 합니다.

  • 웹 서버 구성:

    • 각 객체를 호스팅하는 웹 서버는 병렬 청크 전송을 허용하기 위해 HTTP Range 요청을 지원해야 합니다.
    • 웹 서버는 각 응답에서 유효한 Content-Length 헤더를 반환해야 합니다.
    • 웹 서버의 robots.txt 파일은 Google-Storage-Transfer-Service 사용자 에이전트 또는 모든 사용자 에이전트(*)의 URL에 대한 액세스를 허용해야 합니다.

  • 객체 크기 및 체크섬 검증:

    • URL 목록에 객체 크기 또는 MD5 체크섬을 지정하는 경우 값이 서버에서 반환하는 실제 객체 페이로드와 일치하는지 확인합니다. 크기 또는 체크섬이 일치하지 않으면 해당 객체의 전송이 실패합니다.

다음 단계