לפני שמעבירים נתונים מקטגוריה של Azure Storage, צריך להגדיר את הגישה לקטגוריה הזו כדי ש-Storage Transfer Service יוכל לאחזר את האובייקטים שלה.
השירות Storage Transfer Service תומך בשיטות האימות הבאות של Azure:
טוקנים של חתימת גישה משותפת (SAS). אפשר לציין אסימוני SAS ישירות כשיוצרים משימת העברה, או לאחסן אותם ב-Secret Manager.
אפשר לאחסן מפתחות משותפים של Azure ב-Secret Manager, ולהעביר את הסוד כשיוצרים משימת העברה.
פרטי כניסה מאוחדים מועברים באובייקט
federatedIdentityConfigבמהלך יצירת משימת ההעברה.
המסמך הזה כולל גם מידע על הוספת כתובות IP של ה-worker של Storage Transfer Service לחומת האש של Azure Storage כדי לאפשר גישה. פרטים נוספים זמינים במאמר הגבלות על כתובות IP.
אזורים נתמכים
אפשר להשתמש ב-Storage Transfer Service כדי להעביר נתונים מהאזורים הבאים של Microsoft Azure Storage:- אמריקה: מזרח ארה"ב, מזרח ארה"ב 2, מערב ארה"ב, מערב ארה"ב 2, מערב ארה"ב 3, מרכז ארה"ב, צפון מרכז ארה"ב, דרום מרכז ארה"ב, מערב מרכז ארה"ב, מרכז קנדה, מזרח קנדה, דרום ברזיל
- אסיה והאוקיינוס השקט: Australia Central, Australia East, Australia Southeast, Central India, South India, West India, Southeast Asia, East Asia, Japan East, Japan West, Korea South, Korea Central
- אירופה, המזרח התיכון ואפריקה (EMEA): מרכז צרפת, מערב-מרכז גרמניה, מזרח נורווגיה, מרכז שוודיה, צפון שווייץ, צפון אירופה, מערב אירופה, דרום בריטניה, מערב בריטניה, מרכז קטאר, צפון איחוד האמירויות הערביות, צפון דרום אפריקה
אפשרות 1: אימות באמצעות טוקן SAS
כדי להגדיר גישה למאגר של Microsoft Azure Storage באמצעות אסימון SAS, צריך לפעול לפי השלבים הבאים. אפשר גם לשמור את אסימון ה-SAS ב-Secret Manager. כדי לעשות את זה, פועלים לפי ההוראות במאמר אימות באמצעות מפתח משותף של Azure או אסימון SAS ב-Secret Manager.
יוצרים משתמש חדש ב-Microsoft Azure Storage או משתמשים במשתמש קיים כדי לגשת לחשבון האחסון של מאגר ה-Blob ב-Microsoft Azure Storage.
יוצרים אסימון SAS ברמת מאגר התגים. הוראות מפורטות זמינות במאמר מתן גישה מוגבלת למשאבי Azure Storage באמצעות חתימות גישה משותפות.
השדה Allowed services חייב לכלול את Blob.
בשדה Allowed resource types, בוחרים גם באפשרות Container וגם באפשרות Object.
ההרשאות המותרות חייבות לכלול את קריאה ורשימה. אם ההעברה מוגדרת למחיקת אובייקטים מהמקור, צריך לכלול גם את ההרשאה מחיקה.
זמן התפוגה שמוגדר כברירת מחדל לאסימוני SAS הוא 8 שעות. הגדירו זמן תפוגה סביר שיאפשר לכם להשלים את ההעברה.
אל תציינו כתובות IP בשדה כתובות IP מותרות. השירות Storage Transfer Service משתמש בכתובות IP שונות ולא תומך בהגבלת כתובות IP.
הערך של Allowed protocols צריך להיות HTTPS only.
אחרי שיוצרים את האסימון, שימו לב לערך של אסימון ה-SAS שמוחזר. תצטרכו את הערך הזה כשתגדירו את ההעברה באמצעות Storage Transfer Service.
אפשרות 2: אימות באמצעות מפתח משותף של Azure או אסימון SAS ב-Secret Manager
Secret Manager הוא שירות מאובטח שמאחסן ומנהל מידע אישי רגיש, כמו סיסמאות. הוא משתמש בהצפנה חזקה, בבקרת גישה המבוססת על תפקידים (RBAC) וברישום ביומן ביקורת כדי להגן על הסודות שלכם.
שירות Storage Transfer Service תומך בשמות של משאבים ב-Secret Manager שמפנים לפרטי הכניסה שלכם ל-Azure שמאוחסנים באופן מאובטח.
כדי להשתמש במפתח משותף של Azure, צריך לשמור את המפתח ב-Secret Manager. אפשר לשמור אסימוני SAS ב-Secret Manager או להעביר אותם ישירות.
כשמציינים מפתח משותף, Storage Transfer Service משתמש במפתח הזה כדי ליצור SAS של שירות שמוגבל בהיקף למאגר Azure שצוין במשימת ההעברה.
הפעלת ה-API
מפעילים את Secret Manager API, אם הוא עדיין לא מופעל.
התפקידים שנדרשים כדי להפעיל ממשקי API
כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). כך מקצים תפקידים.
הגדרת הרשאות נוספות
הרשאות של משתמשים
המשתמש שיוצר את הסוד צריך את התפקיד הבא:
- אדמין ב-Secret Manager (
roles/secretmanager.admin)
הרשאות של סוכן שירות
סוכן השירות של Storage Transfer Service צריך את התפקיד הבא ב-IAM:
- גישה לסודות ב-Secret Manager (
roles/secretmanager.secretAccessor)
כדי להקצות את התפקיד לסוכן השירות:
מסוף Cloud
נכנסים לדף IAM במסוף Google Cloud .
לוחצים על הענקת גישה.
בתיבת הטקסט New principals, מזינים את כתובת האימייל של סוכן השירות.
בתפריט הנפתח Select a role, מחפשים את התפקיד Secret Manager Secret Accessor ובוחרים אותו.
לוחצים על Save.
gcloud
משתמשים בפקודה gcloud projects add-iam-policy-binding כדי להוסיף את תפקיד ה-IAM לסוכן השירות.
מזינים את הפקודה הבאה בשורת הפקודה:
gcloud projects add-iam-policy-binding PROJECT_ID \ --member='serviceAccount:SERVICE_AGENT_EMAIL' \ --role='roles/secretmanager.secretAccessor'
יצירת סוד
יוצרים סוד באמצעות Secret Manager:
מסוף Cloud
נכנסים לדף Secret Manager במסוף Google Cloud .
לוחצים על Create secret.
מזינים שם.
בתיבת הטקסט Secret value, מזינים את פרטי הכניסה באחד מהפורמטים הבאים.
{ "sas_token" : "SAS_TOKEN_VALUE" }או:
{ "access_key" : "ACCESS_KEY" }לוחצים על Create secret.
אחרי שיוצרים את הסוד, שימו לב לשם המשאב המלא של הסוד:
לוחצים על הכרטיסייה סקירה כללית.
מעתיקים את הערך של Resource name. הפורמט של הכתובת הוא:
projects/1234567890/secrets/SECRET_NAME
gcloud
כדי ליצור סוד חדש באמצעות כלי שורת הפקודה של Google Cloud, מעבירים את פרטי הכניסה בפורמט JSON לפקודה gcloud secrets create:
printf '{
"sas_token" : "SAS_TOKEN_VALUE"
}' | gcloud secrets create SECRET_NAME --data-file=-
או:
printf '{
"access_key" : "ACCESS_KEY"
}' | gcloud secrets create SECRET_NAME --data-file=-
מאחזרים את שם המשאב המלא של הסוד:
gcloud secrets describe SECRET_NAME
שימו לב לערך של name בתגובה. הפורמט של הכתובת הוא:
projects/1234567890/secrets/SECRET_NAME
לפרטים נוספים על יצירה וניהול של סודות, עיינו במסמכי התיעוד של Secret Manager.
מעבירים את הסוד לפקודה ליצירת משימה
כדי להשתמש ב-Secret Manager עם Storage Transfer Service, צריך להשתמש ב-API ל-REST כדי ליצור משימת העברה.
מעבירים את שם המשאב של Secret Manager כערך של השדה transferSpec.azureBlobStorageDataSource.credentialsSecret:
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
"description": "Transfer with Secret Manager",
"status": "ENABLED",
"projectId": "PROJECT_ID",
"transferSpec": {
"azureBlobStorageDataSource": {
"storageAccount": "AZURE_STORAGE_ACCOUNT_NAME",
"container": "AZURE_CONTAINER_NAME",
"credentialsSecret": "SECRET_RESOURCE_ID",
},
"gcsDataSink": {
"bucketName": "CLOUD_STORAGE_BUCKET_NAME"
}
}
}
במאמר יצירת העברות מוסבר בהרחבה איך יוצרים העברה.
אפשרות 3: אימות באמצעות זהות מאוחדת
ב-Storage Transfer Service אפשר להשתמש באיחוד שירותי אימות הזהות של עומסי עבודה ב-Azure עםGoogle Cloud. Storage Transfer Service יכול לשלוח בקשות ל-Azure Storage דרך אפליקציות Azure רשומות, וכך אין צורך להעביר את פרטי הכניסה ישירות ל-Storage Transfer Service.
כדי להגדיר זהות מאוחדת, פועלים לפי ההוראות הבאות.
הגדרת פרטי הכניסה של Google Cloud
כדי לאפשר ל-Storage Transfer Service ליצור טוקנים של מזהה של OpenID Connect (OIDC):
סוכן שירות
אם במשימת ההעברה לא צוין serviceAccount (כלומר, אתם לא מקצים הרשאות של סוכן שירות לחשבון שירות בניהול המשתמשים), צריך להקצות את התפקיד יצירת אסימונים בחשבון שירות (roles/iam.serviceAccountTokenCreator) לסוכן השירות:
מאחזרים את
accountEmailשל סוכן השירות:- עוברים אל דף העזר של
googleServiceAccounts.get. - בקטע Request parameters, מזינים את מזהה הפרויקט.
- לוחצים על Execute. מוחזרים הערכים
accountEmailו-subjectId.
- עוברים אל דף העזר של
מקצים לסוכן השירות את התפקיד יצירת אסימונים בחשבון שירות (
roles/iam.serviceAccountTokenCreator) על עצמו. פועלים לפי ההוראות במאמר ניהול הגישה לחשבונות שירות.
חשבון שירות בניהול המשתמשים
אם אתם מקצים הרשאות של סוכן שירות לחשבון שירות בניהול המשתמש, פרטי הכניסה שלכם ל-Google מוגדרים כשאתם מגדירים הקצאת הרשאות. לא צריך לבצע פעולות נוספות.
הגדרת פרטי הכניסה של מיקרוסופט
קודם כול, רושמים אפליקציה ומוסיפים פרטי כניסה מאוחדים:
- נכנסים אל https://portal.azure.com.
- עוברים לדף App registrations.
- לוחצים על New registration.
- מזינים שם. לדוגמה,
azure-transfer-app. - בוחרים באפשרות חשבונות בספריית הארגון הזו בלבד.
- לוחצים על הרשמה. האפליקציה נוצרת. שימו לב ל-
Application (client) IDול-Directory (tenant) ID. אפשר גם לאחזר אותם מאוחר יותר מהדף Overview של האפליקציה. - לוחצים על Certificates & secrets ובוחרים בכרטיסייה Federated credentials.
- לוחצים על הוספת פרטי כניסה.
בוחרים באפשרות מנפיק אחר בתור התרחיש ומזינים את הפרטים הבאים:
- הונפק על ידי:
https://accounts.google.com מזהה הנושא: בהתאם לשימוש בסוכן השירות שמוגדר כברירת מחדל או בחשבון שירות בניהול המשתמש, צריך לבחור באחת מהאפשרויות הבאות:
- הערך
subjectIdשל סוכן השירות, שאותו אחזרתם בשלב הגדרת פרטי הכניסה של Google Cloud . - ה-
uniqueIdשל חשבון השירות בניהול המשתמשים. במאמר אחזור המזהה הייחודי של חשבון שירות מוסבר איך לאחזר את הערך הזה.
- הערך
שם ייחודי לפרטי הכניסה המאומתים.
הקהל חייב להישאר
api://AzureADTokenExchange.
- הונפק על ידי:
לוחצים על הוספה.
בשלב הבא, נותנים לאפליקציה גישה למאגר של Azure Storage:
- נכנסים לדף Storage Accounts בחשבון Azure.
- בוחרים את חשבון האחסון ולוחצים על Containers בקטע מאגר נתונים.
- לוחצים על הקטגוריה שרוצים לתת לה גישה.
- בתפריט שמימין, לוחצים על Access Control (IAM) ובוחרים בכרטיסייה Roles.
- לוחצים על תפריט האפשרויות הנוספות (
...) לצד התפקיד ובוחרים באפשרות שכפול. - נותנים שם לתפקיד בהתאמה אישית ובוחרים באפשרות התחלה מאפס. לוחצים על Next.
- לוחצים על Add permissions ומחפשים את
Microsoft.Storage/storageAccounts/blobServices/containers/blobs/read. - לוחצים על הכרטיס אחסון ב-Microsoft שמופיע.
- לוחצים על כפתור הבחירה פעולות בנתונים.
- בוחרים באפשרות Read : Read Blob.
- לוחצים על הוספה.
- אם אתם מתכוונים למחוק אובייקטים במקור אחרי ההעברה, לוחצים שוב על Add permissions ומחפשים את
Microsoft.Storage/storageAccounts/blobServices/containers/blobs/delete. - לוחצים על הכרטיס Microsoft Storage שמופיע, בוחרים באפשרות Data actions ואז באפשרות Delete : Delete blob.
- לוחצים על הוספה.
- לוחצים על Review + create ואז על Create. חוזרים לדף בקרת גישה (IAM) של הקטגוריה.
- לוחצים על Add ובוחרים באפשרות Add role assignment.
- ברשימת התפקידים, בוחרים את התפקיד בהתאמה אישית ולוחצים על הבא.
- לוחצים על בחירת חברים.
- בשדה Select, מזינים את שם האפליקציה שרשמתם קודם. לדוגמה,
azure-transfer-app. - לוחצים על משבצת האפליקציה ואז על בחירה.
- לוחצים על בדיקה והקצאה.
מעבירים את מזהי האפליקציה לפקודה ליצירת משימה
המזהים של האפליקציה מועברים לפקודה ליצירת משימה באמצעות אובייקט federatedIdentityConfig. מעתיקים את מזהה האפליקציה (הלקוח) ואת מזהה הספרייה (הדייר) ששמרתם בשלבים של הגדרת פרטי הכניסה של מיקרוסופט לשדות client_id ו-tenant_id.
"federatedIdentityConfig": {
"client_id": "efghe9d8-4810-800b-8f964ed4057f",
"tenant_id": "abcd1234-c8f0-4cb0-b0c5-ae4aded60078"
}
דוגמה לבקשה ליצירת משימה:
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
"description": "Transfer with Azure Federated Identity",
"status": "ENABLED",
"projectId": "PROJECT_ID",
"transferSpec": {
"azureBlobStorageDataSource": {
"storageAccount": "AZURE_STORAGE_ACCOUNT_NAME",
"container": "AZURE_CONTAINER_NAME",
"federatedIdentityConfig": {
"client_id": "AZURE_CLIENT_ID",
"tenant_id": "AZURE_TENANT_ID"
}
},
"gcsDataSink": {
"bucketName": "CLOUD_STORAGE_BUCKET_NAME"
}
}
}
במאמר יצירת העברות מוסבר בהרחבה איך יוצרים העברה.
הגבלות על כתובות IP
אם אתם מגבילים את הגישה למשאבים שלכם ב-Azure באמצעות חומת אש של Azure Storage, אתם צריכים להוסיף את טווחי ה-IP שמשמשים את ה-workers של Storage Transfer Service לרשימת כתובות ה-IP המותרות.
טווחי ה-IP האלה יכולים להשתנות, ולכן אנחנו מפרסמים את הערכים הנוכחיים כקובץ JSON בכתובת קבועה:
https://www.gstatic.com/storage-transfer-service/ipranges.json
כשמוסיפים טווח חדש לקובץ, אנחנו ממתינים לפחות 7 ימים לפני שאנחנו משתמשים בטווח הזה לבקשות מ-Storage Transfer Service.
מומלץ לשלוף נתונים מהמסמך הזה לפחות פעם בשבוע כדי לשמור על עדכניות הגדרות האבטחה. במאמר הזה מהמסמכים של הענן הווירטואלי הפרטי תוכלו למצוא סקריפט לדוגמה ב-Python, שמאחזר טווחי כתובות IP מקובץ JSON.
כדי להוסיף את הטווחים האלה ככתובות IP מותרות, פועלים לפי ההוראות במאמר של Microsoft Azure, Configure Azure Storage firewalls and virtual networks.