בדף הזה מוסבר איך להעביר נתונים בין שתי מערכות קבצים של POSIX. תרחישים נפוצים לדוגמה:
- Burst to cloud ו-HPC היברידי: העברה מהירה של קבוצות נתונים גדולות מהארגון לענן לצורך עיבוד.
- העברה וסנכרון ל-Filestore: העברה או סנכרון של נתונים ממערכת קבצים מקומית ל-Filestore.
- העברת קבצים מנוהלת: העברת נתונים מאובטחת ואמינה בין מרכזי נתונים או בין שתי מערכות קבצים בענן.
הנחיות לביצועי העברה
ההנחיות הבאות יכולות לעזור לכם למקסם את הביצועים במהלך העברות בין מערכות קבצים.
פריסת הסוכן
באופן כללי, מומלץ להשתמש בשלושה סוכנים בכל אחד ממאגרי הסוכנים של המקור והיעד. עוקבים אחרי ההעברה ומוסיפים עוד נציגים לפי הצורך. כל נציג צריך 4 vCPU ו-8GiB RAM.
אם אתם עוברים למכונה של Filestore, מומלץ להשתמש במכונה מסוג n2-standard-8 לכל נציג. מציינים את nconnect=2 כשמפעילים את המכונה במכונה וירטואלית של Compute Engine. בהנחיות לביצועים של Filestore מוסבר איך לבצע אופטימיזציה של ביצועי המכונה ולבדוק אותם.
העברת מספר גדול של קבצים קטנים
כדי לשפר את הביצועים כשמעבירים מספר גדול של קבצים קטנים, מומלץ לפצל את הקבצים לכמה ספריות ולהימנע מספרייה אחת עם מיליוני קבצים.
לפני שמתחילים
לפני שתוכלו לבצע את המשימות שמתוארות בדף הזה, תצטרכו להשלים את השלבים המקדימים ולהגדיר את ההרשאות הנדרשות:
- הרשאות המשתמש הנדרשות
- הרשאות ברמת הפרויקט שמבוססות על סוכנים
- הגדרת גישה למקור: מערכת קבצים
- הגדרת גישה ל-sink: מערכת קבצים
יצירת מאגרי סוכנים והתקנת סוכנים
כדי להעביר נתונים בין מערכות קבצים, צריך ליצור מאגרי סוכנים וסוכנים גם במערכת הקבצים של המקור וגם במערכת הקבצים של היעד. צריך להתקין את הסוכנים של מאגר הסוכנים במקור במכונות או במכונות וירטואליות שיש להן גישה למערכת הקבצים במקור. צריך להתקין את הסוכנים של מאגר הסוכנים ביעד במכונות או במכונות וירטואליות שיש להן גישה למערכת הקבצים ביעד.
יצירת מאגר של סוכני מקור
יוצרים מאגר של סוכני מקור באחת מהשיטות הבאות:
CLI של gcloud
מריצים את הפקודה הבאה כדי ליצור מאגר סוכנים במקור:
gcloud transfer agent-pools create SOURCE_AGENT_POOL
מחליפים את SOURCE_AGENT_POOL בשם שרוצים לתת למאגר הסוכנים של המקור.
מסוף Google Cloud
נכנסים לדף Agent pools במסוף Google Cloud .
מופיע הדף Agent pools, שבו מוצגת רשימה של מאגרי הסוכנים הקיימים.
לוחצים על יצירת מאגר נוסף.
נותנים שם למאגר.
לוחצים על יצירה.
התקנת סוכנים במאגר הסוכנים של המקור
מתקינים סוכנים למאגר הסוכנים של המקור במכונה או ב-VM שיש להם גישה למערכת הקבצים של המקור:
CLI של gcloud
מתקינים סוכנים למאגר הסוכנים של המקור באמצעות הפקודה:
gcloud transfer agents install --pool=SOURCE_AGENT_POOL --count=NUMBER_OF_AGENTS \
--mount-directories=MOUNT_DIRECTORIES
מחליפים את מה שכתוב בשדות הבאים:
- SOURCE_AGENT_POOL בשם של מאגר הסוכנים במקור.
- NUMBER_OF_AGENTS במספר הנציגים שרוצים להתקין למאגר הנציגים של המקור. כדי לקבוע את מספר הסוכנים האופטימלי לסביבה שלכם, קראו את המאמר דרישות ושיטות מומלצות לסוכנים.
- MOUNT_DIRECTORIES ברשימה מופרדת בפסיקים של ספריות במערכת הקבצים של המקור, שמהן רוצים להעתיק. אם לא משתמשים בדגל הזה, כל מערכת הקבצים נטענת, וזה יכול לסכן את האבטחה.
מסוף Google Cloud
נכנסים לדף Agent pools במסוף Google Cloud .
מופיע הדף Agent pools, שבו מוצגת רשימה של מאגרי הסוכנים הקיימים.
לוחצים על השם של מאגר הנציגים במקור שיצרתם.
בכרטיסייה Agents, לוחצים על Install agent.
פועלים לפי ההוראות במסוף Google Cloud כדי להתקין את Docker ולהפעיל את הסוכן.
יצירת מאגר של סוכני יעד והתקנת סוכנים
חוזרים על השלבים הקודמים כדי ליצור מאגר סוכנים ביעד ולהתקין סוכנים.
יצירת קטגוריה של Cloud Storage כמתווך
כדי להעביר נתונים בין מערכות קבצים, צריך להשתמש בקטגוריה של Cloud Storage כמתווכת.
יוצרים קטגוריה של Cloud Storage מסוג Standard עם ההגדרות הבאות:
- Encryption: אפשר לציין מפתח הצפנה בניהול הלקוח (CMEK). אחרת, נעשה שימוש ב-Google-owned and Google-managed encryption key .
- ניהול גרסאות של אובייקטים, נעילת קטגוריה וברירת מחדל להחזקות אובייקטים: השאירו את התכונות האלה מושבתות.
מקצים את התפקידים הנדרשים בקטגוריית הביניים גם לסוכן השירות של Storage Transfer Service וגם לחשבונות של סוכני ההעברה במקור וביעד. פועלים לפי ההוראות במאמר הרשאות לקטגוריית ביניים.
יצירת משימת העברה
CLI של gcloud
כדי ליצור העברה ממערכת הקבצים של המקור למערכת הקבצים של היעד, מריצים את הפקודה הבאה:
gcloud transfer jobs create posix://SOURCE_DIRECTORY posix://DESTINATION_DIRECTORY \
--source-agent-pool=SOURCE_AGENT_POOL \
--destination-agent-pool=DESTINATION_AGENT_POOL \
--intermediate-storage-path=gs://STORAGE_BUCKET/FOLDER/
מחליפים את המשתנים הבאים:
- SOURCE_DIRECTORY בנתיב של ספריית קובצי המקור.
- DESTINATION_DIRECTORY בנתיב של ספריית היעד.
- SOURCE_AGENT_POOL בשם של מאגר הסוכנים במקור.
- DESTINATION_AGENT_POOL בשם של מאגר הנציגים שאליו רוצים להעביר את הנציגים.
- STORAGE_BUCKET בשם של הקטגוריה ב-Cloud Storage.
- FOLDER בשם התיקייה שאליה רוצים להעביר את הנתונים.
כשמפעילים משימת העברה, המערכת מחשבת קודם את הנתונים במקור וביעד כדי לקבוע אילו נתונים במקור הם חדשים או עודכנו מאז ההעברה הקודמת. רק הנתונים החדשים מועברים.
ספריות לקוח
Java
Node.js
Python
ניהול קטגוריות ביניים
אחרי שמשימת ההעברה מסתיימת, השירות Storage Transfer Service שומר בקטגוריה יומני העברה, שבהם מפורטים הנתונים שהועברו והנתונים שההעברה שלהם נכשלה. אחרי ההעברה, משימות הניקוי מתחילות באופן אוטומטי כדי למחוק את נתוני הביניים. במקרים מסוימים, משימות הניקוי לא מצליחות למחוק את כל הנתונים בקטגוריה. כדי למחוק נתונים שלא נמחקים במהלך הניקוי, אתם יכולים להשתמש בהוראות שבהמשך כדי למחוק את הנתונים באופן ידני, או להגדיר כלל מחזור חיים למחיקת הנתונים באופן אוטומטי.
ניקוי ידני
כדי למחוק נתונים מקטגוריית הביניים, מריצים את הפקודות הבאות בהתאם לסוג הנתונים שרוצים למחוק.
כדי למחוק נתונים בקטגוריית הביניים שלא נמחקו במהלך הניקוי, מריצים את הפקודה הבאה:
gcloud storage rm gs://STORAGE_BUCKET/PREFIX**כדי למחוק את כל הנתונים, כולל יומני ההעברות, מציינים את הבסיס של הקטגוריה באמצעות התו הכללי לחיפוש
**:gcloud storage rm gs://STORAGE_BUCKET/**כדי למחוק את הקטגוריה, מריצים את הפקודה הבאה:
gcloud storage rm --recursive gs://STORAGE_BUCKET
מחליפים את המשתנים הבאים:
STORAGE_BUCKET בשם של קטגוריית הביניים.
PREFIX בשם של התיקייה שאליה הועברו הנתונים בקטגוריית הביניים.
הגדרת כלל מחזור חיים
כדי למחוק נתונים שלא נמחקים במחזור הניקוי האוטומטי, צריך להגדיר כלל מחזור חיים לקטגוריה של Cloud Storage. כדי למחוק נתוני ביניים בקטגוריה, משתמשים בתנאי age ומציינים תקופה ארוכה יותר ממשימת ההעברה הארוכה ביותר שמשתמשת בקטגוריה כגורם מתווך. אם תנאי הגיל שצוין קצר מהזמן שנדרש להורדת הקובץ מהקטגוריה המתווכת ליעד, העברת הקובץ תיכשל.
אפשר להשתמש בתנאי matchesPrefix כדי למחוק נתונים בתיקייה שציינתם לקטגוריית הביניים. כדי למחוק את יומני ההעברות יחד עם הנתונים בקטגוריה, לא צריך את התנאי matchesPrefix.
שמירת המטא-נתונים של הקבצים
כדי לשמור על המטא-נתונים של הקובץ, כולל UID מספרי, GID, MODE וקישורים סמליים:
CLI של gcloud
בשדה --preserve-metadata מציינים את אופן השמירה של ההעברה הזו. האפשרויות שרלוונטיות להעברות של מערכת קבצים הן: gid, mode, symlink, uid.
API בארכיטקטורת REST
מציינים את האפשרויות המתאימות באובייקט metadataOptions.
למידע נוסף, קראו את המאמר שמירה על מאפייני POSIX אופציונליים.
דוגמה להעברה באמצעות ה-CLI של gcloud
בדוגמה הזו, אנחנו מעבירים נתונים מהספרייה /tmp/datasource ב-VM1 אל /tmp/destination ב-VM2.
מגדירים את מקור ההעברה.
יוצרים את מאגר הסוכנים של המקור:
gcloud transfer agent-pools create source_agent_poolב-VM1, מתקינים סוכנים של
source_agent_poolבאמצעות הפקודה:gcloud transfer agents install --pool=source_agent_pool \ --count=1 \ --mount-directories="/tmp/datasource"
מגדירים את יעד ההעברה.
יוצרים את מאגר הנציגים ביעד:
gcloud transfer agent-pools create destination_agent_poolב-VM2, מתקינים סוכנים של
destination_agent_poolבאמצעות הפקודה:gcloud transfer agents install --pool=destination_agent_pool \ --count=3 \ --mount-directories="/tmp/destination"
יוצרים קטגוריה של Cloud Storage לביניים.
יוצרים קטגוריה בשם
my-intermediary-bucketבמיקום הקטגוריה:gcloud storage buckets create gs://my-intermediary-bucket --location=LOCATIONמחליפים את LOCATION במיקום של הקטגוריה.
מקצים את התפקידים הנדרשים ב-
gs://my-intermediary-bucketלחשבונות של סוכן השירות וסוכן ההעברה, כמו שמתואר בקטע הרשאות לקטגוריית הביניים.
מריצים את הפקודה הבאה כדי ליצור משימת העברה:
gcloud transfer jobs create posix:///tmp/datasource posix:///tmp/destination \ --source-agent-pool=source_agent_pool \ --destination-agent-pool=destination_agent_pool \ --intermediate-storage-path=gs://my-intermediary-bucket