Storage Transfer Service תומך בהעברות ממקורות של Hadoop Distributed File System (HDFS) בענן ובמקום פיזי.
בהעברות מ-HDFS, היעד חייב להיות Cloud Storage.
תרחישים לדוגמה כוללים העברה מאחסון מקומי ל-Cloud Storage, העברת נתונים לארכיון כדי לפנות מקום באחסון המקומי, שכפול נתונים ל-Google Cloud כדי לשמור על המשכיות עסקית, או העברת נתונים ל-Google Cloud לצורך ניתוח ועיבוד.
דרישות מוקדמות
לפני שמגדירים את ההעברה, צריך לוודא שהגדרתם את הדברים הבאים:
- הרשאות משתמש: ודאו שלחשבון המשתמש או לחשבון השירות בניהול המשתמש יש הרשאה ליצור משימות העברה ומאגרי סוכנים. הרשאות משתמש נדרשות
- הרשאות ברמת הפרויקט שמבוססות על סוכן: ודאו שהגדרתם את התפקידים הנדרשים ברמת הפרויקט לסוכן השירות ולחשבון סוכן ההעברה. הרשאות ברמת הפרויקט שמבוססות על סוכנים
- הרשאות לקטגוריה של יעד: נותנים את ההרשאות הנדרשות בקטגוריה של Cloud Storage של יעד. הגדרת גישה ל-sink: Cloud Storage
התקנת סוכנים במאגר סוכנים
בהעברות מבוססות-סוכנים, סוכני תוכנה משמשים לתיאום ההעברות. צריך להתקין את הסוכנים האלה במכונה אחת או יותר עם גישה למערכת הקבצים. לסוכנים צריכה להיות גישה ל-namenode, לכל ה-datanodes, לשרת ניהול המפתחות (KMS) של Hadoop ולמרכז להקצאת מפתחות (KDC) של Kerberos.
סוכני ההעברה פועלים יחד במאגר סוכנים. הגדלת מספר הנציגים יכולה לשפר את הביצועים הכוללים של המשימה, אבל זה תלוי בכמה גורמים.
הוספת סוכנים יכולה לעזור, עד כמחצית ממספר הצמתים באשכול HDFS. לדוגמה, באשכול של 30 צמתים, הגדלה מ-5 ל-15 סוכנים אמורה לשפר את הביצועים, אבל מעבר ל-15 סוכנים לא צפוי להיות הבדל משמעותי.
לאשכול HDFS קטן, יכול להיות שסוכן אחד יספיק.
סוכנים נוספים נוטים להשפיע יותר על הביצועים כשההעברה כוללת מספר גדול של קבצים קטנים. כדי להשיג קצב העברה גבוה, השירות Storage Transfer Service מבצע משימות העברה במקביל בין כמה נציגים. ככל שיש יותר קבצים בעומס העבודה, כך יש יותר תועלת בהוספת עוד סוכנים.
יצירת מאגר של סוכנים
יוצרים מאגר סוכנים. כדי לבצע את הפעולה הזו, צריך להשתמש בחשבון המשתמש .
התקנת סוכנים
מתקינים סוכנים במאגר הסוכנים. כדי לבצע את הפעולה הזו, צריך להשתמש בחשבון של סוכן העברות.

מסוף Google Cloud
נכנסים לדף Agent pools במסוף Google Cloud .
בוחרים את מאגר הסוכנים שאליו רוצים להוסיף את הסוכן החדש.
לוחצים על התקנת הסוכן.
פועלים לפי ההוראות כדי להתקין ולהפעיל את הסוכן.
למידע נוסף על האפשרויות של הסוכן בשורת הפקודה, ראו אפשרויות הסוכן בשורת הפקודה.
CLI של gcloud
כדי להתקין סוכן אחד או יותר באמצעות ה-CLI של gcloud, מריצים את הפקודה gcloud transfer agents install:
gcloud transfer agents install --pool=POOL_NAME \
--count=NUM_AGENTS \
--mount-directories=MOUNT_DIRECTORIES \
--hdfs-namenode-uri=HDFS_NAMENODE_URI \
--hdfs-username=HDFS_USERNAME \
--hdfs-data-transfer-protection=HDFS_DATA_TRANSFER_PROTECTION \
--kerberos-config-file=KERBEROS_CONFIG_FILE \
--kerberos-keytab-file=KERBEROS_KEYTAB_FILE \
--kerberos-user-principal=KERBEROS_USER_PRINCIPAL \
--kerberos-service-principal=KERBEROS_SERVICE_PRINCIPAL \
מחליפים את מה שכתוב בשדות הבאים:
--hdfs-namenode-uriמציין אשכול HDFS, כולל סכימה, צומת שם ויציאה, בפורמט URI. לדוגמה:rpc://my-namenode:8020http://my-namenode:9870
משתמשים ב-HTTP או ב-HTTPS ל-WebHDFS. אם לא צוינה סכימה, אנחנו מניחים שמדובר ב-RPC. אם לא מציינים יציאה, ברירת המחדל היא
8020ל-RPC,9870ל-HTTP ו-9871ל-HTTPS. לדוגמה, הקלטmy-namenodeהופך ל-rpc://my-namenode:8020.אם באשכול מוגדרים כמה צומתי שם, צריך לציין את הצומת הראשי הנוכחי. מידע נוסף זמין במאמר אשכולות עם כמה צומתי שם.
--hdfs-usernameהוא שם המשתמש להתחברות לאשכול HDFS עם אימות פשוט. אם אתם מבצעים אימות באמצעות Kerberos או מתחברים ללא אימות, אל תשתמשו בדגל הזה.
--hdfs-data-transfer-protection(אופציונלי) היא ההגדרה של איכות ההגנה (QOP) בצד הלקוח לאשכולות עם Kerberos. הערך לא יכול להיות מחמיר יותר מהערך של QOP בצד השרת. הערכים התקינים הם:authentication,integrityו-privacy.
אם אתם מבצעים אימות באמצעות Kerberos, צריך לכלול גם את הדגלים הבאים:
--kerberos-config-fileהוא הנתיב לקובץ התצורה של Kerberos. לדוגמה,--kerberos-config-file=/etc/krb5.conf.
--kerberos-user-principalהוא המשתמש הראשי ב-Kerberos שבו משתמשים. לדוגמה,--kerberos-user-principal=user1.
--kerberos-keytab-fileהוא הנתיב לקובץ Keytab שמכיל את המשתמש הראשי שצוין בדגל--kerberos-user-principal. לדוגמה,--kerberos-keytab-file=/home/me/kerberos/user1.keytab.
--kerberos-service-principalהוא שם השירות הראשי (SPN) של Kerberos שבו צריך להשתמש, בפורמט<primary>/<instance>. התחום ממופה מקובץ התצורה של Kerberos. המערכת מתעלמת מכל תחום שסופק. אם לא מציינים את הדגל הזה, ברירת המחדל היאhdfs/<namenode_fqdn>, כאשר<namenode_fqdn>הוא שם הדומיין שמוגדר במלואו בקובץ התצורה.לדוגמה,
--kerberos-service-principal=hdfs/my-namenode.a.example.com.
הכלי ידריך אתכם בשלבים הנדרשים להתקנת הסוכנים. הפקודה הזו מתקינה במחשב סוכני NUM_AGENTS שממופים לשם המאגר שצוין בתור POOL_NAME, ומאמתת את הסוכן באמצעות פרטי הכניסה שלך ל-gcloud. שם המאגר חייב להיות קיים, אחרת תוחזר שגיאה.
הדגל --mount-directories הוא אופציונלי, אבל מומלץ מאוד להשתמש בו. הערך שלו הוא רשימה מופרדת בפסיקים של ספריות במערכת הקבצים, שהסוכן מקבל גישה אליהן.
אם לא משתמשים בדגל הזה, כל מערכת הקבצים נטענת לקונטיינר של הסוכן. למידע נוסף: מקור המידע gcloud.
docker run
לפני שמשתמשים ב-docker run כדי להתקין סוכנים, צריך לפעול לפי ההוראות להתקנת Docker.
הפקודה docker run מתקינה סוכן אחד. כדי להגדיל את מספר הנציגים במאגר, מריצים מחדש את הפקודה הזו כמה פעמים שצריך.
הדגלים הנדרשים של הפקודה תלויים בסוג האימות שבו אתם משתמשים.
Kerberos
כדי לאמת את מערכת הקבצים באמצעות Kerberos, משתמשים בפקודה הבאה:
sudo docker run -d --ulimit memlock=64000000 --rm \
--network=host \
-v /:/transfer_root \
gcr.io/cloud-ingest/tsop-agent:latest \
--enable-mount-directory \
--project-id=${PROJECT_ID} \
--hostname=$(hostname) \
--creds-file="service_account.json" \
--agent-pool=${AGENT_POOL_NAME} \
--hdfs-namenode-uri=cluster-namenode \
--kerberos-config-file=/etc/krb5.conf \
--kerberos-user-principal=user \
--kerberos-keytab-file=/path/to/folder.keytab
מחליפים את מה שכתוב בשדות הבאים:
- אם מפעילים יותר מסוכן אחד במכונה הזו, צריך להשמיט את
--network=host.
--hdfs-namenode-uri: סכימה, namenode ויציאה, בפורמט URI, שמייצגים אשכול HDFS. לדוגמה:rpc://my-namenode:8020http://my-namenode:9870
משתמשים ב-HTTP או ב-HTTPS ל-WebHDFS. אם לא צוינה סכימה, אנחנו מניחים שמדובר ב-RPC. אם לא מציינים יציאה, ברירת המחדל היא 8020 ל-RPC, 9870 ל-HTTP ו-9871 ל-HTTPS. לדוגמה, הקלט my-namenode הופך ל-rpc://my-namenode:8020.
אם באשכול מוגדרים כמה צומתי שם, צריך לציין את הצומת הראשי הנוכחי. מידע נוסף זמין במאמר אשכולות עם כמה צומתי שם.
-
--kerberos-config-file: הנתיב לקובץ התצורה של Kerberos. ברירת המחדל היא/etc/krb5.conf. -
--kerberos-user-principal: חשבון המשתמש של Kerberos. -
--kerberos-keytab-file: הנתיב לקובץ Keytab שמכיל את המשתמש הראשי שצוין באמצעות--kerberos-user-principal. -
--kerberos-service-principal: חשבון השירות הראשי של Kerberos שבו רוצים להשתמש, בפורמט "service/instance". התחום ממופה מקובץ התצורה של Kerberos. המערכת מתעלמת מכל תחום שסופק. אם לא מציינים את הדגל הזה, ברירת המחדל היאhdfs/<namenode_fqdn>, כאשרfqdnהוא שם הדומיין שמוגדר במלואו.
אימות פשוט
כדי לאמת את מערכת הקבצים באמצעות אימות פשוט:
sudo docker run -d --ulimit memlock=64000000 --rm \
--network=host \
-v /:/transfer_root \
gcr.io/cloud-ingest/tsop-agent:latest \
--enable-mount-directory \
--project-id=${PROJECT_ID} \
--hostname=$(hostname) \
--creds-file="${CREDS_FILE}" \
--agent-pool="${AGENT_POOL_NAME}" \
--hdfs-namenode-uri=cluster-namenode \
--hdfs-username="${USERNAME}"
מחליפים את מה שכתוב בשדות הבאים:
-
--hdfs-username: שם המשתמש שבו משתמשים כשמתחברים לאשכול HDFS באמצעות אימות פשוט. -
--hdfs-namenode-uri: סכימה, namenode ויציאה, בפורמט URI, שמייצגים אשכול HDFS. לדוגמה:rpc://my-namenode:8020http://my-namenode:9870
משתמשים ב-HTTP או ב-HTTPS ל-WebHDFS. אם לא צוינה סכימה, אנחנו מניחים שמדובר ב-RPC.
אם לא מציינים יציאה, ברירת המחדל היא 8020 ל-RPC, 9870 ל-HTTP ו-9871 ל-HTTPS. לדוגמה, הקלט my-namenode הופך ל-rpc://my-namenode:8020.
אם באשכול מוגדרים כמה צומתי שם, צריך לציין את הצומת הראשי הנוכחי. מידע נוסף זמין במאמר אשכולות עם כמה צומתי שם.
אין אימות
כדי להתחבר למערכת הקבצים בלי אימות:
sudo docker run -d --ulimit memlock=64000000 --rm \
--network=host \
-v /:/transfer_root \
gcr.io/cloud-ingest/tsop-agent:latest \
--enable-mount-directory \
--project-id=${PROJECT_ID} \
--hostname=$(hostname) \
--creds-file="${CREDS_FILE}" \
--agent-pool="${AGENT_POOL_NAME}" \
--hdfs-namenode-uri=cluster-namenode \
מחליפים את מה שכתוב בשדות הבאים:
-
--hdfs-namenode-uri: סכימה, namenode ויציאה, בפורמט URI, שמייצגים אשכול HDFS. לדוגמה:rpc://my-namenode:8020http://my-namenode:9870
משתמשים ב-HTTP או ב-HTTPS ל-WebHDFS. אם לא צוינה סכימה, אנחנו מניחים שמדובר ב-RPC.
אם לא מציינים יציאה, ברירת המחדל היא 8020 ל-RPC, 9870 ל-HTTP ו-9871 ל-HTTPS. לדוגמה, הקלט my-namenode הופך ל-rpc://my-namenode:8020.
אם באשכול מוגדרים כמה צומתי שם, צריך לציין את הצומת הראשי הנוכחי. מידע נוסף זמין במאמר אשכולות עם כמה צומתי שם.
אפשרויות העברה
התכונות הבאות של Storage Transfer Service זמינות להעברות מ-HDFS ל-Cloud Storage.
קבצים שמועברים מ-HDFS לא שומרים על המטא-נתונים שלהם.
יצירת העברה
ב-Storage Transfer Service יש כמה ממשקים שדרכם אפשר ליצור העברה.
מסוף Google Cloud
נכנסים לדף Storage Transfer Service במסוף Google Cloud .
לוחצים על Transfer. מופיע הדף Create a transfer job.
בוחרים באפשרות Hadoop Distributed File System בתור Source type. היעד חייב להיות Google Cloud Storage.
לוחצים על השלב הבא.
הגדרת המקור
מציינים את המידע הנדרש להעברה:
בוחרים את מאגר הסוכנים שהגדרתם להעברה הזו.
מזינים את הנתיב שממנו רוצים להעביר, ביחס לתיקיית השורש.
אם רוצים, אפשר לציין מסננים שיחולו על נתוני המקור.
לוחצים על השלב הבא.
הגדרת הכיור
בשדה Bucket or folder, מזינים את שם קטגוריית היעד ואת שם התיקייה (אופציונלי), או לוחצים על Browse כדי לבחור קטגוריה מרשימת הקטגוריות הקיימות בפרויקט הנוכחי. כדי ליצור קטגוריה חדשה, לוחצים על
Create new bucket.לוחצים על השלב הבא.
תזמון ההעברה
אפשר לתזמן את ההעברה כך שתפעל פעם אחת בלבד, או להגדיר העברה חוזרת.
לוחצים על השלב הבא.
בחירת הגדרות ההעברה
בשדה Description, מזינים תיאור של ההעברה. מומלץ להזין תיאור משמעותי וייחודי כדי שתוכלו להבדיל בין המשימות.
בקטע Metadata options, בוחרים את סוג האחסון ב-Cloud Storage ומציינים אם לשמור את זמן היצירה של כל אובייקט. פרטים נוספים זמינים במאמר שמירת מטא-נתונים.
בקטע מתי להחליף, בוחרים אחת מהאפשרויות הבאות:
אף פעם: לא להחליף את קובצי היעד. אם כבר קיים קובץ עם אותו שם, הוא לא יועבר.
אם שונה: החלפת קובצי היעד אם לקובץ המקור עם אותו שם יש ערכי Etag או סיכום ביקורת (checksum) שונים.
תמיד: תמיד מחליף את קובצי היעד כשלשם של קובץ המקור יש את אותו שם, גם אם הם זהים.
בקטע מתי למחוק, בוחרים אחת מהאפשרויות הבאות:
אף פעם: אף פעם לא למחוק קבצים מהמקור או מהיעד.
Delete files from destination if they're not also at source: אם הקבצים בקטגוריית היעד של Cloud Storage לא נמצאים גם במקור, מוחקים את הקבצים מקטגוריית Cloud Storage.
האפשרות הזו מבטיחה שקטגוריית היעד של Cloud Storage תהיה זהה למקור.
בוחרים אם להפעיל את האפשרות transfer logging ו/או Pub/Sub notifications.
לוחצים על Create כדי ליצור את משימת ההעברה.
CLI של gcloud
כדי ליצור משימת העברה חדשה, משתמשים בפקודה gcloud transfer jobs create. יצירת משימה חדשה מפעילה את ההעברה שצוינה, אלא אם צוין לוח זמנים או --do-not-run.
gcloud transfer jobs create \
hdfs:///PATH/ gs://BUCKET_NAME/PATH/ \
--source-agent-pool=AGENT_POOL_NAME
מחליפים את מה שכתוב בשדות הבאים:
PATHהוא נתיב מוחלט מהשורש של אשכול ה-HDFS. ה-namenode והיציאה של האשכול מוגדרים ברמת הנציג, כך שבפקודה ליצירת המשימה צריך לציין רק את הנתיב (אופציונלי) ואת מאגר הנציגים.המאפיין
--source-agent-poolמציין את מאגר הסוכנים במקור שבו צריך להשתמש בהעברה הזו.
האפשרויות הנוספות כוללות:
הדגל
--do-not-runמונע מ-Storage Transfer Service להריץ את המשימה אחרי שליחת הפקודה. כדי להריץ את המשימה, עדכנו אותה והוסיפו לוח זמנים, או השתמשו ב-jobs runכדי להפעיל אותה ידנית.--manifest-fileמציין את הנתיב לקובץ CSV ב-Cloud Storage שמכיל רשימה של קבצים להעברה מהמקור. במאמר העברת קבצים או אובייקטים ספציפיים באמצעות מניפסט מוסבר איך מעצבים קובץ מניפסט.פרטי המשרה: אפשר לציין את
--nameו---description.Schedule: מציינים את הערכים
--schedule-starts,--schedule-repeats-everyו---schedule-repeats-until, או--do-not-run.תנאי אובייקטים: שימוש בתנאים כדי לקבוע אילו אובייקטים יועברו. התנאים האלה כוללים את
--include-prefixesו---exclude-prefixes, ואת התנאים מבוססי הזמן ב---include-modified-[before | after]-[absolute | relative]. אם ציינתם תיקייה במקור, מסנני הקידומת יהיו יחסיים לתיקייה הזו. מידע נוסף מופיע במאמר סינון אובייקטים של מקור לפי קידומת.אפשרויות העברה: מציינים אם להחליף את קובצי היעד (
--overwrite-when=differentאוalways) ואם למחוק קבצים מסוימים במהלך ההעברה או אחריה (--delete-from=destination-if-uniqueאוsource-after-transfer). אפשר גם להגדיר סוג אחסון לאובייקטים שמועברים (--custom-storage-class).התראות: הגדרת התראות Pub/Sub להעברות באמצעות
--notification-pubsub-topic,--notification-event-typesו---notification-payload-format.
כדי לראות את כל האפשרויות, מריצים את gcloud transfer jobs create --help או מעיינים במאמרי העזרה של gcloud.
API בארכיטקטורת REST
כדי ליצור העברה ממקור HDFS באמצעות ה-API בארכיטקטורת REST, יוצרים אובייקט JSON כמו בדוגמה הבאה.
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
...
"transferSpec": {
"source_agent_pool_name":"POOL_NAME",
"hdfsDataSource": {
"path": "/mount"
},
"gcsDataSink": {
"bucketName": "SINK_NAME"
},
"transferOptions": {
"deleteObjectsFromSourceAfterTransfer": false
}
}
}
לפרטים נוספים על שדות נתמכים נוספים, עיינו במפרט של transferJobs.create.
אשכולות עם כמה צומתי שם (namenodes)
אפשר להגדיר סוכנים של Storage Transfer Service רק עם צומת שם אחד. אם אשכול ה-HDFS מוגדר עם כמה צומתי שם ("זמינות גבוהה"), ויש אירוע של יתירות כשל שגורם לצומת שם ראשי חדש, צריך להתקין מחדש את הסוכנים עם צומת השם הנכון.
כדי למחוק את הסוכנים הישנים, קראו את המאמר מחיקת סוכן.
כדי לאחזר את ה-namenode הפעיל של האשכול, מריצים את הפקודה:
hdfs haadmin -getAllServiceState