סקירה כללית של Cloud Storage

בדף הזה מוסבר איך Cloud Storage פועל ומהם תרחישי השימוש שהוא תומך בהם.

איך Cloud Storage פועל

‫Cloud Storage הוא שירות אחסון מנוהל וניתן להרחבה שמוצע על ידיGoogle Cloud . השירות מאפשר לכם לאחסן נתונים כאובייקטים בקונטיינרים שנקראים קטגוריות.

כל הקטגוריות משויכות לפרויקט, ואפשר לקבץ את הפרויקטים בארגון. אחרי שיוצרים פרויקט, אפשר ליצור קטגוריות, להעלות אובייקטים לקטגוריות ולהוריד אובייקטים מהקטגוריות. אפשר גם להעניק הרשאות כדי שהנתונים יהיו נגישים לחשבונות משתמשים ספציפיים, או נגישים לכל אחד באינטרנט הציבורי. היכולות של ספריות מאפשרות לכם להשתמש ב-Cloud Storage באופן דומה יותר לכונן קשיח או לאחסון NAS (אחסון שמחובר לרשת): תיקיות מאפשרות לכם לארגן אובייקטים במבנה של ספריות, ותיקיות מנוהלות מאפשרות לכם לפשט את בקרת הגישה לאובייקטים.

כל פרויקט, קטגוריה, אובייקט, תיקייה ותיקייה מנוהלת הם משאב ב-Google Cloud, כמו גם מכונות של Compute Engine.

ההיררכיה Google Cloud

כך המבנה של Cloud Storage יכול לחול על מקרה בעולם האמיתי:

  • ארגון: החברה, שנקראת Example Inc.‎, יוצרת Google Cloud ארגון בשם exampleinc.org.

  • פרויקט: .Example Inc בונה מספר אפליקציות, וכל אחת מהן משויכת לפרויקט. לכל פרויקט יש קבוצה משלו של ממשקי API של Cloud Storage וגם משאבים אחרים.

  • קטגוריה: כל פרויקט יכול להכיל כמה קטגוריות, שהן קונטיינרים לאחסון האובייקטים. לדוגמה, אפשר ליצור קטגוריה של photos לכל קובצי התמונות שהאפליקציה יוצרת וקטגוריה נפרדת של videos. ב-Cloud Storage יש סוגי אחסון (storage classes) שונים ומיקומים שונים לקטגוריות, כך שאתם יכולים לבחור את העמידות והזמינות של הנתונים בהתאם לצרכים של עומסי העבודה שלכם.

    קטגוריות משמשות כבסיס נתונים ראשי במערכת האקולוגית הרחבה יותר של Google Cloud Google. אתם יכולים לחבר את הקטגוריות שלכם כקצה עורפי לאחסון בשירותים אחרים שלGoogle Cloud , כמו AI Hypercomputer,‏ Vertex AI ו-Google Kubernetes Engine.

  • אובייקט: קטגוריות מכילות אובייקטים, כמו תמונה בשם puppy.png. אובייקט הוא חלק של נתונים שלא ניתן לשינוי, שמורכב מקובץ בכל סוג של פורמט. כל קטגוריה יכולה להכיל מספר בלתי מוגבל של אובייקטים בודדים.

  • תיקייה: קטגוריות שמופעל בהן מרחב שמות היררכי יכולות להכיל תיקיות. תיקיות מאפשרות מערכת קבצים אמיתית לאחסון אובייקטים, בניגוד למערכת קבצים מדומה. אתם יכולים לשנות את השם של תיקייה ושל כל האובייקטים בתוכה בפעולה אחת.

  • תיקייה מנוהלת: כל קטגוריה יכולה להכיל גם תיקיות מנוהלות, שמעניקות או מבטלות גישה נוספת מעבר להרשאות IAM שהוגדרו בקטגוריה. בתיקיות מנוהלות לא נעשה שימוש במבנה של עץ ספריות אמיתי, אלא בכיסוי משאבים שמשמש רק לבדיקת הרשאות.

שמות המשאבים

לכל משאב יש שם ייחודי שמזהה אותו, בדומה לשם קובץ. לקטגוריות יש שם משאב בצורת projects/_/buckets/BUCKET_NAME, כאשר BUCKET_NAME הוא מזהה הקטגוריה. לאובייקטים יש שם משאב בצורת projects/_/buckets/BUCKET_NAME/objects/OBJECT_NAME, כאשר OBJECT_NAME הוא מזהה האובייקט.

הסיומת #NUMBER המצורפת לסוף שם המשאב מציינת יצירה ספציפית של האובייקט. ‫#0 הוא מזהה מיוחד של הגרסה העדכנית של האובייקט. כדאי להוסיף את #0 כששם האובייקט מסתיים במחרוזת שאפשר לפרש כמספר גנרציה.

כלים ל-Cloud Storage

אפשר להשתמש בכלים הבאים כדי ליצור אינטראקציה עם Cloud Storage:

  • Google Cloud המסוף: המסוף Google Cloud מספק ממשק חזותי לניהול הנתונים בדפדפן.

  • ‫Google Cloud CLI: ‏ ה-CLI של gcloud מאפשר אינטראקציה עם Cloud Storage דרך טרמינל באמצעות פקודות של gcloud storage.

  • ספריות לקוח: ספריות הלקוח של Cloud Storage מאפשרות לנהל את הנתונים באחת מהשפות המועדפות עליכם, כולל C++‎,‏ C#‎,‏ Go,‏ Java,‏ Node.js,‏ PHP,‏ Python ו-Ruby.

  • ‫REST APIs: ניהול הנתונים באמצעות API בפורמט JSON או API בפורמט XML.

  • ‫Terraform: ‏ Terraform הוא כלי של תשתית כקוד (IaC), שבעזרתו אפשר להקצות את התשתית ל-Cloud Storage. מידע נוסף זמין במאמר הקצאת משאבים באמצעות Cloud Storage.

  • ‫gRPC: ‏gRPC מאפשר לכם ליצור אינטראקציה עם Cloud Storage. ‏gRPC הוא מסגרת RPC אוניברסלית בקוד פתוח עם ביצועים גבוהים שפותחה על ידיGoogle , ואפשר להשתמש בה כדי להגדיר את השירותים שלכם באמצעות Protocol Buffers.

  • ‫Cloud Storage FUSE: Cloud Storage FUSE מאפשר לטעון קטגוריות של Cloud Storage למערכת הקבצים המקומית. כך האפליקציות יכולות לקרוא מקטגוריה או לכתוב לקטגוריה באמצעות סמנטיקה סטנדרטית של מערכת קבצים.

  • ספריית Python‏ GCSFS: ‏ GCSFS היא ספריית Python שמספקת ממשק של מערכת קבצים ב-Python ל-Cloud Storage.

תרחישי שימוש ותכונות עיקריות

‫Cloud Storage מספק אחסון אובייקטים עמיד וזמין בכל העולם, שאפשר להתאים למגוון רחב של עומסי עבודה (workloads) ארגוניים, החל מאימון של בינה מלאכותית (AI) ולמידת מכונה (ML) עם ביצועים גבוהים ועד לארכוב לצורכי רגולציה.

אחסון נתונים וגישה לנתונים לצורך AI/ML וניתוח נתונים

האצת צינורות עיבוד הנתונים של AI/ML ותובנות אנליטיות באמצעות גישה לנתונים עם תפוקה גבוהה וחביון נמוך, שנועדה לעיבוד נתונים בקנה מידה גדול.

יכולת יכולת, מוצר או תכונה
Cloud Storage Rapid אחסון עם ביצועים גבוהים שמוצב יחד עם מחשוב לגישה של פחות מאלפית השנייה ועם תפוקה כוללת של כמה TB/s. כולל:
  • ‫Rapid Bucket: אחסון אובייקטים אזורי בסיווג Rapid Storage, שנועד לעומסי עבודה של AI/ML וניתוח נתונים שדורשים נפח נתונים גדול.
  • ‫Rapid Cache: מטמון קריאה אזורי שמגובה על ידי SSD ומנוהל באופן מלא. המטמון הזה משנה את הקיבולת ואת רוחב הפס באופן אוטומטי כדי לשפר את ביצועי הקריאה.
מרחב שמות היררכי הנתונים מאורגנים במבנה של ספריות לוגיות עם פעולות אטומיות בתיקיות ומגבלות QPS ראשוניות גבוהות פי 8 בהשוואה לקטגוריות ללא מרחב שמות היררכי. אפשר להפעיל את מרחב השמות ההיררכי רק בזמן יצירת הקטגוריה, ואי אפשר להפעיל אותו בקטגוריה קיימת.
Cloud Storage FUSE הכלי מאפשר לטעון קטגוריות למערכת הקבצים המקומית, כך שהאפליקציות יכולות לקרוא מקטגוריה או לכתוב לקטגוריה באמצעות סמנטיקה סטנדרטית של מערכת קבצים.

לפרטים נוספים על אופטימיזציה של הביצועים, אפשר לעיין במאמר אופטימיזציה של האחסון ל-AI/ML ולניתוח נתונים.

אבטחת הנתונים ועמידה בדרישות

הגנה על הנכסים ועמידה בתקנים רגולטוריים גלובליים באמצעות הצפנה מובנית, אמצעי בקרה לגישה ומדיניות שמירת נתונים שלא ניתן לשנות.

שכבת אבטחה יכולת, מוצר או תכונה
בקרת גישה אכיפת גישה עם הרשאות מינימליות והגבלת התנועה לרשתות מהימנות. המוצרים והתכונות כוללים:
  • ניהול זהויות והרשאות גישה (IAM): הענקת הרשאה למשתמשים, לקבוצות או לחשבונות שירות ספציפיים לבצע פעולות במשאבי Cloud Storage באמצעות אמצעי בקרה לגישה מבוססת-תפקידים.
  • גישה אחידה ברמת הקטגוריה: השבתה של רשימות בקרת גישה (ACL) ברמת האובייקט ושימוש בלעדי במדיניות IAM ברמת הקטגוריה, כדי לאחד את בקרת הגישה למשאבי Cloud Storage.
  • סינון כתובות IP של מאגרי נתונים: הגבלת הגישה למאגר נתונים על סמך כתובת ה-IP של המקור של הבקשה והגנה על הנתונים מפני גישה לא מורשית מכתובות IP ספציפיות או מ-Virtual Private Cloud‏ (VPC).
הצפנת נתונים הצפנה של נתונים במנוחה ובתנועה. המוצרים והתכונות כוללים:
  • מפתחות בניהולGoogle: כברירת מחדל, הנתונים שלכם ב-Cloud Storage מוצפנים אוטומטית באחסון באמצעות מפתחות בצד השרת שנמצאים בבעלותGoogleומתוחזקים על ידה. Google
  • ‫CMEK‏ (Cloud KMS): שליטה בלוחות הזמנים של הרוטציה, בהרשאות הגישה ובמחזורי החיים של מפתחות ההצפנה כדי להגן על משאבי Cloud Storage.
  • ‫CSEK: כדי להגן על הנתונים ב-Cloud Storage במצב מנוחה, אתם יכולים לספק מפתחות הצפנה משלכם עם כל בקשת API בנפרד, במקום Google לאחסן או לשחזר את חומרי המפתח.
שמירה ואי-שינוי של נתונים מונעים מחיקה מקרית ועוזרים לעמוד בדרישות התאימות לנתונים. המוצרים והתכונות כוללים:
  • נעילת קטגוריה: פיקוח על משך הזמן שאובייקטים בקטגוריות יישמרו באמצעות ציון של מדיניות שמירת נתונים לקטגוריה כדי לאכוף כללי שמירת נתונים לצורך רגולציה ותאימות.
  • שמירת אובייקטים: אפשר לשלוט במשך החיים של אובייקטים ספציפיים על ידי החלת תאריך ושעה של שמירה עד, שלא ניתן לשנות, על אובייקטים ספציפיים. כך מונעים את המחיקה או ההחלפה שלהם עד שתוקף השמירה יפוג.
  • ניהול גרסאות של אובייקטים: שמירה של עותקים היסטוריים של הנתונים על ידי העברה אוטומטית לארכיון של אובייקטים פעילים שנמחקו או שנכתבו עליהם כגרסאות לא עדכניות, כדי שתוכלו לשחזר מצבים קודמים של אובייקטים בכל שלב.
  • מחיקה רכה: שמירה של אובייקטים ודליים שנמחקו לאחרונה כדי למנוע אובדן נתונים קבוע במקרה של מחיקה בשוגג או מחיקה זדונית. כברירת מחדל, ב-Cloud Storage מופעלת מחיקה רכה לכל הקטגוריות עם תקופת שמירה של שבעה ימים.

גיבוי, תוכנית התאוששות מאסון (DR) ושמירה על המשכיות עסקית

הגנה על העסק מפני אובדן נתונים, אירועי אסון והפסקות חשמל אזוריות באמצעות זמינות במספר אזורים ורפליקציה מהירה בין אזורים.

יכולת, מוצר או תכונה תיאור
שני אזורים ומספר אזורים שכפול אוטומטי של נתונים באזורים מרוחקים גיאוגרפית Google Cloud לזמינות של 99.99%.
רפליקציה בקצב טורבו רפליקציה של 100% מהאובייקטים החדשים שנכתבו בין זוגות בשני אזורים תוך 15 דקות.
ניהול גרסאות של אובייקטים ומחיקה עם יכולת שחזור שמירה של איטרציות קודמות ואובייקטים שנמחקו לאחרונה לצורך שחזור אחרי החלפות בשגיאה או אירועי תוכנת כופר.

אופטימיזציה של עלויות וניהול מחזור החיים של הנתונים

כדי לצמצם את ההוצאות על אחסון לאורך מחזור החיים של הנתונים, כדאי להתאים את תדירות הגישה לרמות אחסון חסכוניות.

סוג אחסון, מוצר או תכונה תיאור
סוגי אחסון (storage classes) בוחרים בין Standard storage,‏ Nearline storage,‏ Coldline storage,‏ Archive storage ו-Rapid storage בהתאם לתדירות הגישה לנתונים.
סיווג אוטומטי העברה אוטומטית של אובייקטים בין סוגי אחסון (storage classes) על סמך דפוסי הגישה לאובייקטים.
ניהול מחזור החיים של אובייקטים מחיקה או מעבר של אובייקטים באמצעות כללי מדיניות מותאמים אישית.

הפצת תוכן והצגת תוכן באינטרנט

הפצה של נכסים דיגיטליים, הורדות וקובצי מדיה ברחבי העולם עם זמן אחזור נמוך וזמינות גבוהה.

יכולת, מוצר או תכונה תיאור
‫Cloud CDN ו-Cloud Load Balancing שמירה במטמון של נכסים סטטיים במיקומי קצה גלובליים של Google, כדי לספק זמן טעינה קצר במיוחד למסירת נתונים באינטרנט.
כתובות URL חתומות לתת גישת קריאה או כתיבה לזמן מוגבל לאובייקטים פרטיים בלי לדרוש אישורים. Google
אירוח אתרים סטטיים הצגת נכסי מדיה, JavaScript,‏ CSS ו-HTML סטטיים ישירות ממאגר ציבורי.

העברת נתונים והעברה מבוססת-אירועים

לייעל את ההעברה של נתונים חיצוניים אל Google Cloud ולהפעיל תהליכי עבודה אוטומטיים לעיבוד כשמעלים אובייקט.

שילוב תיאור
Storage Transfer Service העברה מנוהלת של נתונים אונליין בקנה מידה גדול מ-Amazon S3, מ-Microsoft Azure Blob Storage, ממקורות HTTP או מאחסון מקומי.
‫Transfer Appliance מכשירי חומרה מחוזקים ששולחים עד מאות פטה-בייט של נתונים ממקורות אופליין אל Google Cloud.
‫Eventarc ו-Pub/Sub שליחת התראות על אירועים בזמן אמת כשנוצר אובייקט, כשנמחק אובייקט או כשמתבצעים עדכונים במטא-נתונים, כדי להפעיל שירותים של Cloud Functions או Cloud Run.

מדריכים למתחילים

כדי להכיר את יסודות השימוש ב-Cloud Storage, אפשר להיעזר במדריכים הבאים:

מחפשים מוצרים אחרים?

אם Cloud Storage הוא לא פתרון האחסון שמתאים לכם, אתם יכולים לקרוא מידע נוסף על שירותי האחסון הבאים:

  • ‫Google Cloud Managed Lustre: אחסון נתונים במערכת קבצים מקבילה בניהול מלא, עם ביצועים גבוהים ואופטימיזציה לעומסי עבודה של AI ו-HPC.

  • שירותי אחסון נוספים שמוצעים על ידי Google

המאמרים הבאים