בדף הזה מוסבר איך מעבירים נתונים בין שתי מערכות קבצים של POSIX. תרחישים נפוצים לדוגמה:
- Burst to cloud ו-Hybrid HPC: העברה מהירה של קבוצות נתונים גדולות מהארגון לענן לצורך עיבוד.
- העברה וסנכרון ל-Filestore: העברה או סנכרון של נתונים ממערכת קבצים מקומית ל-Filestore.
- העברת קבצים מנוהלת: העברת נתונים בצורה מאובטחת ואמינה בין מרכזי נתונים או בין שתי מערכות קבצים בענן.
הנחיות לביצועי העברה
ההנחיות הבאות יכולות לעזור לכם למקסם את הביצועים במהלך העברות בין מערכות קבצים.
פריסת הסוכן
באופן כללי, מומלץ להשתמש בשלושה נציגים בכל אחד ממאגרי הנציגים של המקור והיעד. עוקבים אחרי ההעברה ומוסיפים עוד נציגים לפי הצורך. כל נציג צריך 4 vCPU ו-8GiB RAM.
אם אתם עוברים למכונה של Filestore, מומלץ להשתמש בסוג המכונה n2-standard-8 לכל נציג. מציינים את nconnect=2 כשמצרפים את המכונה למכונה וירטואלית של Compute Engine. בהנחיות לביצועים של Filestore מוסבר איך לבצע אופטימיזציה של ביצועי המכונה ולבדוק אותם.
העברת מספר גדול של קבצים קטנים
כדי לשפר את הביצועים כשמעבירים מספר גדול של קבצים קטנים, מומלץ לפצל את הקבצים לכמה ספריות ולהימנע מספרייה אחת עם מיליוני קבצים.
לפני שמתחילים
לפני שתוכלו לבצע את המשימות שמתוארות בדף הזה, תצטרכו להשלים את השלבים המוקדמים ולהגדיר את ההרשאות הנדרשות:
- הרשאות משתמש נדרשות
- הרשאות ברמת הפרויקט שמבוססות על סוכנים
- הגדרת גישה למקור: מערכת קבצים
- הגדרת גישה ל-sink: מערכת קבצים
יצירת מאגרי סוכנים והתקנת סוכנים
כדי להעביר נתונים בין מערכות קבצים, צריך ליצור מאגרי סוכנים וסוכנים גם במערכת הקבצים של המקור וגם במערכת הקבצים של היעד. צריך להתקין את הסוכנים של מאגר סוכני המקור במכונות או במכונות וירטואליות שיש להן גישה למערכת הקבצים של המקור. צריך להתקין את הסוכנים של מאגר הסוכנים ביעד במכונות או במכונות וירטואליות שיש להן גישה למערכת הקבצים ביעד.
אל תכללו מידע רגיש כמו פרטים אישיים מזהים (PII) או נתוני אבטחה בתחילית של מזהה הסוכן או בשם של מאגר הסוכנים. יכול להיות ששמות המשאבים יופצו לשמות של משאבים אחרים ב-Google Cloud, וייחשפו למערכות פנימיות של Google מחוץ לפרויקט שלכם.
יצירת מאגר של סוכני מקור
יוצרים מאגר של נציגי מקור באחת מהשיטות הבאות:
CLI של gcloud
יוצרים מאגר של סוכני מקור באמצעות הפקודה:
gcloud transfer agent-pools create SOURCE_AGENT_POOL
מחליפים את SOURCE_AGENT_POOL בשם שרוצים לתת למאגר הסוכנים של המקור.
מסוף Google Cloud
נכנסים לדף Agent pools במסוף Google Cloud .
הדף Agent pools מוצג, ומופיעה בו רשימה של מאגרי הסוכנים הקיימים.
לוחצים על יצירת מאגר נוסף.
נותנים שם למאגר.
לוחצים על יצירה.
התקנת סוכנים במאגר הסוכנים של המקור
מתקינים סוכנים למאגר הסוכנים של המקור במכונה או ב-VM שיש להם גישה למערכת הקבצים של המקור:
CLI של gcloud
מתקינים סוכנים למאגר הסוכנים של המקור באמצעות הפקודה:
gcloud transfer agents install --pool=SOURCE_AGENT_POOL --count=NUMBER_OF_AGENTS \
--mount-directories=MOUNT_DIRECTORIES
מחליפים את מה שכתוב בשדות הבאים:
- SOURCE_AGENT_POOL בשם של מאגר הסוכנים במקור.
- NUMBER_OF_AGENTS במספר הנציגים שרוצים להתקין למאגר הנציגים של המקור. כדי לקבוע את מספר הסוכנים האופטימלי לסביבה שלכם, קראו את המאמר דרישות ושיטות מומלצות לסוכנים.
- MOUNT_DIRECTORIES ברשימה מופרדת בפסיקים של ספריות במערכת קובצי המקור שמהן רוצים להעתיק. אם לא משתמשים בדגל הזה, כל מערכת הקבצים נטענת, וזה עלול לסכן את האבטחה.
מסוף Google Cloud
נכנסים לדף Agent pools במסוף Google Cloud .
הדף Agent pools מוצג, ומופיעה בו רשימה של מאגרי הסוכנים הקיימים.
לוחצים על השם של מאגר הנציגים במקור שיצרתם.
בכרטיסייה Agents, לוחצים על Install agent.
פועלים לפי ההוראות במסוף Google Cloud כדי להתקין את Docker ולהפעיל את הסוכן.
יצירת מאגר של סוכני יעד והתקנת סוכנים
חוזרים על השלבים הקודמים כדי ליצור מאגר סוכנים ביעד ולהתקין סוכנים.
יצירת קטגוריה של Cloud Storage כמתווך
כדי להעביר נתונים בין מערכות קבצים, צריך להשתמש בקטגוריה של Cloud Storage כמתווכת.
יוצרים קטגוריה מסוג Standard ב-Cloud Storage עם ההגדרות הבאות:
- Encryption: אפשר לציין מפתח הצפנה בניהול הלקוח (CMEK). אחרת, נעשה שימוש ב-Google-owned and Google-managed encryption key .
- ניהול גרסאות של אובייקטים, נעילת קטגוריות וברירת מחדל להחזקות אובייקטים: השאירו את התכונות האלה מושבתות.
מקצים את התפקידים הנדרשים בקטגוריית הביניים גם לסוכן השירות של Storage Transfer Service וגם לחשבונות של סוכני ההעברה במקור וביעד. פועלים לפי ההוראות שמפורטות בקטע הרשאות לקטגוריית ביניים.
יצירת משימת העברה
CLI של gcloud
כדי ליצור העברה ממערכת הקבצים של המקור למערכת הקבצים של היעד, מריצים את הפקודה הבאה:
gcloud transfer jobs create posix://SOURCE_DIRECTORY posix://DESTINATION_DIRECTORY \
--source-agent-pool=SOURCE_AGENT_POOL \
--destination-agent-pool=DESTINATION_AGENT_POOL \
--intermediate-storage-path=gs://STORAGE_BUCKET/FOLDER/
מחליפים את המשתנים הבאים:
- SOURCE_DIRECTORY בנתיב של ספריית קובצי המקור.
- DESTINATION_DIRECTORY בנתיב של ספריית היעד.
- SOURCE_AGENT_POOL בשם של מאגר הסוכנים במקור.
- DESTINATION_AGENT_POOL בשם של מאגר הנציגים שאליו רוצים להעביר את הנציגים.
- STORAGE_BUCKET בשם של הקטגוריה ב-Cloud Storage.
- FOLDER בשם התיקייה שאליה רוצים להעביר את הנתונים.
כשמפעילים משימת העברה, המערכת מחשבת קודם את הנתונים במקור וביעד כדי לקבוע אילו נתונים במקור הם חדשים או עודכנו מאז ההעברה הקודמת. רק הנתונים החדשים מועברים.
ספריות לקוח
המשך
Java
Node.js
Python
ניהול קטגוריות ביניים
אחרי שמשימת ההעברה מסתיימת, Storage Transfer Service שומר בקטגוריה יומני העברה עם רשימה של הנתונים שהועברו ושל הנתונים שההעברה שלהם נכשלה. אחרי ההעברה, משימות הניקוי מתחילות באופן אוטומטי כדי למחוק את נתוני הביניים. במקרים מסוימים, משימות הניקוי לא מצליחות למחוק את כל הנתונים בקטגוריה. כדי למחוק נתונים שלא נמחקים במהלך הניקוי, אתם יכולים להשתמש בהוראות שבהמשך כדי למחוק את הנתונים באופן ידני, או להגדיר כלל מחזור חיים למחיקת הנתונים באופן אוטומטי.
ניקוי ידני
כדי למחוק נתונים מקטגוריית הביניים, מריצים את הפקודות הבאות בהתאם לסוג הנתונים שרוצים למחוק.
כדי למחוק נתונים בקטגוריית הביניים שלא נמחקו במהלך הניקוי, מריצים את הפקודה הבאה:
gcloud storage rm gs://STORAGE_BUCKET/PREFIX**כדי למחוק את כל הנתונים, כולל יומני ההעברות, מציינים את הבסיס של הקטגוריה באמצעות התו הכללי לחיפוש התאמה מלאה (*).
gcloud storage rm gs://STORAGE_BUCKET/*כדי למחוק את הקטגוריה, מריצים את הפקודה הבאה:
gcloud storage rm gs://STORAGE_BUCKET
מחליפים את המשתנים הבאים:
STORAGE_BUCKET בשם של קטגוריית הביניים.
PREFIX בשם של התיקייה שאליה הועברו הנתונים בקטגוריית הביניים.
הגדרת כלל מחזור חיים
כדי למחוק נתונים שלא נמחקים במחזור הניקוי האוטומטי, צריך להגדיר כלל מחזור חיים לקטגוריה של Cloud Storage. כדי למחוק נתוני ביניים בקטגוריה, משתמשים בתנאי age ומציינים תקופה ארוכה יותר ממשימת ההעברה הארוכה ביותר שמשתמשת בקטגוריה כגורם מתווך. אם תנאי הגיל שצוין קצר מהזמן שנדרש להורדת הקובץ מהקטגוריה המתווכת ליעד, העברת הקובץ תיכשל.
אפשר גם להשתמש בתנאי matchesPrefix כדי למחוק נתונים בתיקייה שציינתם לקטגוריית הביניים. כדי למחוק את יומני ההעברות יחד עם הנתונים בקטגוריה, לא צריך את התנאי matchesPrefix.
שמירת המטא-נתונים של הקבצים
כדי לשמור את המטא-נתונים של הקבצים, כולל UID מספרי, GID, MODE וקישורים סמליים:
CLI של gcloud
בשדה --preserve-metadata מציינים את התנהגות השמירה של ההעברה הזו. האפשרויות שרלוונטיות להעברות של מערכת קבצים הן: gid, mode, symlink, uid.
API בארכיטקטורת REST
מציינים את האפשרויות המתאימות באובייקט metadataOptions.
מידע נוסף מופיע במאמר שמירה על מאפייני POSIX אופציונליים.
דוגמה להעברה באמצעות ה-CLI של gcloud
בדוגמה הזו, אנחנו מעבירים נתונים מהספרייה /tmp/datasource ב-VM1 אל /tmp/destination ב-VM2.
מגדירים את מקור ההעברה.
יוצרים את מאגר הסוכנים במקור:
gcloud transfer agent-pools create source_agent_poolב-VM1, מתקינים סוכנים של
source_agent_poolבאמצעות הפקודה:gcloud transfer agents install --pool=source_agent_pool \ --count=1 \ --mount-directories="/tmp/datasource"
מגדירים את יעד ההעברה.
יוצרים את מאגר הנציגים ביעד:
gcloud transfer agent-pools create destination_agent_poolב-VM2, מתקינים סוכנים של
destination_agent_poolבאמצעות הפקודה:gcloud transfer agents install --pool=destination_agent_pool \ --count=3 \ --mount-directories="/tmp/destination"
יוצרים קטגוריה של Cloud Storage שתשמש כמתווכת.
יוצרים קטגוריה בשם
my-intermediary-bucket:gcloud storage buckets create gs://my-intermediary-bucketמקצים את התפקידים הנדרשים ב-
gs://my-intermediary-bucketלחשבונות של סוכן השירות וסוכן ההעברה, כמו שמתואר בקטע הרשאות לקטגוריית הביניים.
מריצים את הפקודה הבאה כדי ליצור משימת העברה:
gcloud transfer jobs create posix:///tmp/datasource posix:///tmp/destination \ --source-agent-pool=source_agent_pool \ --destination-agent-pool=destination_agent_pool \ --intermediate-storage-path=gs://my-intermediary-bucket