הגדרת גישה למקור: רשימת כתובות URL

בדף הזה מתוארות הדרישות להעברת נתונים מרשימה של כתובות URL מסוג HTTP או HTTPS שנגישות לציבור אל Cloud Storage.

העברות מרשימת כתובות URL הן העברות ללא סוכן שמנוהלות ישירות על ידי Storage Transfer Service.

דרישות מוקדמות

לפני שיוצרים העברה מרשימת כתובות URL, צריך לוודא שהגדרתם את הדברים הבאים:

  • הרשאות משתמש: ודאו שלחשבון המשתמש או לחשבון השירות בניהול המשתמש יש הרשאה ליצור משימות העברה. הרשאות המשתמש הנדרשות
  • הרשאות לקטגוריית היעד: נותנים לסוכן השירות של Storage Transfer Service את ההרשאות הנדרשות בקטגוריה של Cloud Storage שהיא קטגוריית היעד. הגדרת גישה ל-sink: Cloud Storage
  • רשימת כתובות URL שמאוחסנת ב-Cloud Storage (אופציונלי): אם אתם מאחסנים את קובץ רשימת כתובות ה-URL בקטגוריה של Cloud Storage במקום בכתובת URL ציבורית מסוג HTTP/HTTPS, אתם צריכים לתת לסוכן השירות של Storage Transfer Service את ההרשאות roles/storage.objectViewer ו-roles/storage.legacyBucketReader בקטגוריה הזו. הגדרת גישה למקור: Cloud Storage

הדרישות לגבי כתובת ה-URL של המקור

כדי לאפשר לשירות Storage Transfer Service לקרוא את נתוני המקור, צריך לוודא שהדרישות הבאות מתקיימות:

  • נגישות ציבורית:

    • קובץ רשימת כתובות ה-URL (בפורמט TSV) צריך להיות נגיש מכתובת URL שמתחילה ב-http:// או ב-https://, או מאוחסן בקטגוריה של Cloud Storage.
    • כל כתובת URL של אובייקט שמופיעה בקובץ צריכה להיות נגישה לכולם דרך http:// או https://.

  • הגדרת שרת אינטרנט:

    • שרת האינטרנט שמארח כל אובייקט חייב לתמוך בבקשות HTTP Range כדי לאפשר העברות מקבילות של מקטעים.
    • שרת האינטרנט צריך להחזיר כותרת Content-Length תקינה בכל תגובה.
    • קובץ ה-robots.txt של שרת האינטרנט חייב לאפשר גישה לכתובות ה-URL של סוכן המשתמש Google-Storage-Transfer-Service או של כל סוכני המשתמש (*).

  • אימות של גודל האובייקט וסיכום הביקורת (checksum):

    • אם אתם מציינים גודלי אובייקטים או סיכומי ביקורת (checksum) של MD5 ברשימת כתובות ה-URL, ודאו שהערכים תואמים למטענים הייעודיים (payloads) של האובייקטים בפועל שהשרת מחזיר. אם הגודל או סיכום הביקורת (checksum) לא תואמים, ההעברה של האובייקט תיכשל.

המאמרים הבאים