תזמון גיבויים

במדריך הזה נסביר איך לתזמן גיבויים של מכונות Filestore באמצעות Cloud Scheduler ופונקציות Cloud Run.

במאמר גיבויים משופרים של Filestore מוסבר איך יוצרים גיבויים באמצעות מתזמן שירות מנוהל.

מטרות

  • יוצרים חשבון שירות לקוח ל-Cloud Scheduler עם פרטי הכניסה שנדרשים כדי להפעיל פונקציית Cloud Run.
  • יוצרים חשבון שירות של לקוח לפונקציות Cloud Run, עם פרטי הכניסה שנדרשים כדי לשלוח קריאה לנקודת הקצה של Filestore.
  • יוצרים פונקציית Cloud Run שיוצרת גיבוי של מכונת Filestore.
  • יוצרים פונקציית Cloud Run שמוחקת גיבוי של מכונה ב-Filestore.
  • יוצרים משימה ב-Cloud Scheduler שמריצה את אחת מהפונקציות במרווחי זמן קבועים.

עלויות

במסמך הזה משתמשים ברכיבים הבאים של Google Cloud, והשימוש בהם כרוך בתשלום:

בעזרת מחשבון העלויות אתם יכולים להעריך את העלויות בהתאם לשימוש הצפוי.

משתמשים חדשים של Google Cloud ? יכול להיות שאתם זכאים לתקופת ניסיון בחינם.

לפני שמתחילים

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. Enable the Artifact Registry, Cloud Build, Filestore, Cloud Run functions, Cloud Logging, Pub/Sub, Cloud Run, and Cloud Scheduler APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  4. Install the Google Cloud CLI.

  5. Configure the gcloud CLI to use your federated identity.

    For more information, see Sign in to the gcloud CLI with your federated identity.

  6. To initialize the gcloud CLI, run the following command:

    gcloud init
  7. אם אין לכם מכונה של Filestore בפרויקט, קודם צריך ליצור אחת.

יצירת חשבונות שירות של לקוחות בשביל Cloud Scheduler ופונקציות Cloud Run

  1. אם עדיין לא עשיתם זאת, לוחצים על Activate Cloud Shell במסוף Google Cloud .

  2. יוצרים חשבון שירות של לקוח ש-Cloud Scheduler פועל בתורו כדי להפעיל פונקציית Cloud Run. בדוגמה הזו, משתמשים בפקודה iam service-accounts create כדי לתת לחשבון את השם schedulerunner ולהגדיר את השם המוצג בתור "Service Account for FS Backups-Scheduler":

    gcloud iam service-accounts create schedulerunner \
        --display-name="Service Account for FS Backups-Scheduler"
    
  3. יוצרים חשבון שירות של לקוח שפונקציות Cloud Run פועלות בתורו כדי לקרוא לנקודת הקצה של Filestore. בדוגמה הזו, נתנו לחשבון את השם backupagent והגדרנו את השם המוצג בתור "Service Account for FS Backups-GCF":

    gcloud iam service-accounts create backupagent \
        --display-name="Service Account for FS Backups-GCF"
    

    כדי לבדוק אם חשבון השירות נוצר, מריצים את הפקודה iam service-accounts list:

    gcloud iam service-accounts list
    

    הפקודה מחזירה משהו כזה:

    NAME                                         EMAIL                                                   DISABLED
    Service Account for FS Backups-GCF           backupagent@$PROJECT_ID.         False
    Service Account for FS Backups-Scheduler     schedulerunner@$PROJECT_ID.      False
    

הגדרת משתני סביבה

מגדירים את משתני הסביבה הבאים בסביבה המקומית:

  • Google Cloud מזהה הפרויקט והפרויקט:

    export PROJECT_ID=`gcloud config get-value core/project`
    export PROJECT_NUMBER=`gcloud projects describe $PROJECT_ID --format="value(projectNumber)"`
    
  • סוכן השירות של Cloud Scheduler וחשבונות השירות של הלקוח בשביל Cloud Scheduler ופונקציות Cloud Run:

    export SCHEDULER_SA=service-$PROJECT_NUMBER@gcp-sa-cloudscheduler.
    export SCHEDULER_CLIENT_SA=schedulerunner@$PROJECT_ID.
    export GCF_CLIENT_SA=backupagent@$PROJECT_ID.
    
  • המכונה שלכם ב-Filestore:

    export SOURCE_INSTANCE_LOCATION=fs-location
    export SOURCE_INSTANCE_NAME=instance-id
    export SHARE_NAME=file-share-name
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫fs-location באזור או במחוז שבו נמצא מכונה המקור של Filestore.
    • ‫instance-id במזהה המכונה של מכונת המקור ב-Filestore.
    • ‫file-share-name עם השם שציינתם לשיתוף הקבצים ב-NFS שמוצג מהמכונה.
  • מגדירים משתני סביבה לגיבוי של Filestore:

    export BACKUP_REGION=backup-region
    

    מחליפים את backup-region באזור שבו רוצים לאחסן את הגיבוי.

יצירת פונקציה שיוצרת גיבוי

  1. נכנסים לדף פונקציות Cloud Run במסוף Google Cloud .

    כניסה לדף Cloud Run functions

  2. לוחצים על כתיבת פונקציה ומגדירים את הפונקציה באופן הבא:

    • הגדרה:
    • טריגר:
      • בדוגמה הזו לא צריך להגדיר טריגר.
    • אימות: בוחרים באפשרות Require authentication.
    • ‫Ingress: בוחרים באפשרות All.
    • קונטיינרים, אמצעי אחסון, רשתות, אבטחה
      • עוברים לכרטיסייה אבטחה ובוחרים באפשרות Service Account for FS Backups-GCF (backupagent@$PROJECT_ID.) בתפריט.
  3. לוחצים על יצירה וממשיכים בהגדרה באופן הבא:

    • Function entry point: מזינים create_backup.
    • מוסיפים את יחסי התלות הבאים לקובץ requirements.txt:

      functions-framework==3.*
      google-auth==2.29.0
      requests==2.31.0
      

      בהתאם לתרחיש לדוגמה, יכול להיות שתצטרכו לציין יחסי תלות אחרים יחד עם מספרי הגרסאות התואמים שלהם. מידע נוסף מופיע במאמר חבילות שהותקנו מראש.

    • מעתיקים את דוגמת הקוד הבאה ב-Python לקובץ main.py באמצעות עורך הקוד:

      יצירת גיבוי

      דוגמת הקוד הזו יוצרת גיבוי בשם mybackup-, שאליו מצורף זמן היצירה.

      PROJECT_ID = 'project-id'
      SOURCE_INSTANCE_LOCATION = 'fs-location'
      SOURCE_INSTANCE_NAME = 'instance-id'
      SOURCE_FILE_SHARE_NAME = 'file-share-name'
      BACKUP_REGION = 'backup-region'
      
      import functions_framework
      import google.auth
      import google.auth.transport.requests
      from google.auth.transport.requests import AuthorizedSession
      import time
      import requests
      import json
      
      credentials, project = google.auth.default()
      auth_request = google.auth.transport.requests.Request()
      credentials.refresh(auth_request)
      authed_session = AuthorizedSession(credentials)
      
      def get_backup_id():
          return "mybackup-" + time.strftime("%Y%m%d-%H%M%S")
      
      @functions_framework.http
      def create_backup(request):
          trigger_run_url = "https://file.googleapis.com/v1/projects/{}/locations/{}/backups?backupId={}".format(PROJECT_ID, BACKUP_REGION, get_backup_id())
          headers = {
            'Content-Type': 'application/json'
          }
          post_data = {
            "description": "my new backup",
            "source_instance": "projects/{}/locations/{}/instances/{}".format(PROJECT_ID, SOURCE_INSTANCE_LOCATION, SOURCE_INSTANCE_NAME),
            "source_file_share": "{}".format(SOURCE_FILE_SHARE_NAME)
          }
          print("Making a request to " + trigger_run_url)
          r = authed_session.post(url=trigger_run_url, headers=headers, data=json.dumps(post_data))
          data = r.json()
          print(data)
          if r.status_code == requests.codes.ok:
            print(str(r.status_code) + ": The backup is uploading in the background.")
          else:
            raise RuntimeError(data['error'])
          return "Backup creation has begun!"
      

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫project-id במזהה הפרויקט ב- Google Cloud של מכונת המקור ב-Filestore.
      • ‫fs-location באזור או בתחום של מכונת המקור ב-Filestore.
      • ‫instance-id בשם של מכונת המקור ב-Filestore.
      • ‫file-share-name בשם של שיתוף הקבצים.
      • ‫backup-region באזור שבו רוצים לאחסן את הגיבוי.
      1. לוחצים על בדיקה.

        סשן חדש נפתח בכרטיסייה ב-Cloud Shell. אם הפעולה תצליח, תוחזר ההודעה הבאה:

        Backup creation has begun!
        
      2. לוחצים על Save and redeploy וממתינים עד שהפריסה תסתיים.

      3. חוזרים לכרטיסייה הקודמת של Cloud Shell.

      מחיקת גיבוי

      דוגמת הקוד הזו מוחקת גיבויים שנוצרו לפני תקופה מוגדרת מראש.

      אפשר למחוק רק גיבוי אחד בכל פעם לכל מכונה של מקור. מידע נוסף זמין במאמר גיבויים.

      מגדירים את הפונקציה הזו באותו אופן שבו הגדרתם את הפונקציה ליצירת גיבוי, עם השינויים הבאים:

      • שם הפונקציה: deletefsbackup.
      • נקודת כניסה: delete_backup.
      PROJECT_ID = 'project-id'
      BACKUP_REGION = 'region'
      BACKUP_RETENTION_TIME_HRS = hours
      
      import functions_framework
      import google.auth
      import google.auth.transport.requests
      from google.auth.transport.requests import AuthorizedSession
      import time
      import requests
      import json
      
      credentials, project = google.auth.default()
      auth_request = google.auth.transport.requests.Request()
      credentials.refresh(auth_request)
      authed_session = AuthorizedSession(credentials)
      
      retention_seconds = BACKUP_RETENTION_TIME_HRS * 60 * 60
      
      @functions_framework.http
      def delete_backup(request):
          now = time.time()
          backup_list = []
          trigger_run_url = "https://file.googleapis.com/v1/projects/{}/locations/{}/backups".format(PROJECT_ID, BACKUP_REGION)
          r = authed_session.get(trigger_run_url)
          data = r.json()
          if not data:
              print("No backups to delete.")
              return "No backups to delete."
          else:
              backup_list.extend(data['backups'])
              while "nextPageToken" in data.keys():
                  nextPageToken = data['nextPageToken']
                  trigger_run_url_next = "https://file.googleapis.com/v1/projects/{}/locations/{}/backups?pageToken={}".format(PROJECT_ID, BACKUP_REGION, nextPageToken)
                  r = authed_session.get(trigger_run_url_next)
                  data = r.json()
                  backup_list.extend(data['backups'])
          for i in backup_list:
              backup_time = i['createTime']
              backup_time = backup_time[:-4]
              backup_time = float(time.mktime(time.strptime(backup_time, "%Y-%m-%dT%H:%M:%S.%f")))
              i['backup_timestamp'] = backup_time
          sorted_backup_list = sorted(backup_list, key=lambda d: d['backup_timestamp'])
          oldest_backup = sorted_backup_list[0]
          if now - oldest_backup['backup_timestamp'] > retention_seconds:
              print(oldest_backup['name'] + " is older than the indicated retention time.")
              r = authed_session.delete("https://file.googleapis.com/v1/{}".format(oldest_backup['name']))
              data = r.json()
              print(data)
              if r.status_code == requests.codes.ok:
                  print(str(r.status_code) + ": Deleting " + oldest_backup['name'] + " in the background.")
              else:
                  raise RuntimeError(data['error'])
              return "Backup deletion has begun!"
          return "All backups are within the indicated retention period."
      

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫project-id במזהה הפרויקט ב- Google Cloud של הגיבוי.
      • ‫region באזור שבו נמצא הגיבוי. הגיבוי, המשימה המתוזמנת והפונקציה צריכים להיות באותו מיקום.
      • ‫hours במספר השעות לשמירת הגיבויים. לדוגמה, אם רוצים לשמור גיבויים למשך 10 ימים, מזינים 240.

הקצאת תפקידי IAM לחשבונות השירות של הלקוח

  1. מוסיפים את סוכן השירות של Cloud Scheduler למדיניות ה-IAM של חשבון השירות של הלקוח של Cloud Scheduler, עם התפקיד roles/cloudscheduler.serviceAgent. כך סוכן השירות יכול להתחזות לחשבון השירות של הלקוח כדי להפעיל את הפונקציה שיוצרת גיבוי. מריצים את הפקודה iam service-accounts add-iam-policy-binding:

    gcloud iam service-accounts add-iam-policy-binding $SCHEDULER_CLIENT_SA \
        --member=serviceAccount:$SCHEDULER_SA \
        --role=roles/cloudscheduler.serviceAgent
    
  2. מקצים לחשבון השירות של הלקוח בפונקציות Cloud Run את התפקיד roles/file.editor, כדי שהוא יוכל לבצע קריאות לנקודת הקצה של Filestore. מריצים את הפקודה projects add-iam-policy-binding:

    gcloud projects add-iam-policy-binding $PROJECT_ID \
        --member=serviceAccount:$GCF_CLIENT_SA \
        --role=roles/file.editor
    
  3. מקצים לחשבון השירות של הלקוח ב-Cloud Scheduler את התפקיד roles/run.invoker בפונקציה שבה רוצים להשתמש. מריצים את הפקודה הבאה של run services add-iam-policy-binding:

    יצירת גיבוי

    gcloud run services add-iam-policy-binding fsbackup \
        --member serviceAccount:$SCHEDULER_CLIENT_SA \
        --role roles/run.invoker \
        --region=us-central1
    

    עכשיו רק חשבון השירות של הלקוח ב-Cloud Scheduler יכול להפעיל את fsbackup.

    מחיקת גיבוי

    gcloud run services add-iam-policy-binding deletefsbackup \
        --member serviceAccount:$SCHEDULER_CLIENT_SA \
        --role roles/run.invoker
    

    עכשיו רק חשבון השירות של הלקוח ב-Cloud Scheduler יכול להפעיל את deletefsbackup.

יצירת משימה ב-Cloud Scheduler שמפעילה את הפונקציה לפי לוח זמנים מסוים

יצירת גיבוי

  1. לדוגמה, אם רוצים לתזמן גיבוי כל יום חול בשעה 22:00, משתמשים בפקודה scheduler jobs create http:

    gcloud scheduler jobs create http fsbackupschedule \
        --schedule "0 22 * * 1-5" \
        --http-method=GET \
        --uri=https://fsbackup-$PROJECT_NUMBER.us-central1.run.app \
        --oidc-service-account-email=$SCHEDULER_CLIENT_SA \
        --location=us-central1
    

    בדגל --schedule מציינים את התדירות שבה המשימה פועלת, באמצעות פורמט unix-cron. לפרטים, ראו הגדרת לוחות זמנים למשימות cron.

    אפשר ליצור עד שישה גיבויים לכל מכונה בשעה.

  2. מפעילים את המשימה של Cloud Scheduler שנוצרה בשלב הקודם. בדוגמה שלנו, משתמשים בפקודה scheduler jobs runs כדי להריץ אותו מיד:

    gcloud scheduler jobs run fsbackupschedule
    

    המשימה fsbackupschedule מפעילה את הפונקציה fsbackup מיד אחרי שמריצים את הפקודה, ואז מפעילה אותה שוב בכל יום חול בשעה 22:00 עד שהמשימה מושהית.

  3. בודקים את היומנים של הפונקציה fsbackup כדי לראות אם היא פועלת כמו שצריך ומחזירה את הערך status 200.

    כדי לראות את היומנים במסוף Google Cloud , משתמשים ב-Logs Explorer:

    1. במסוף Google Cloud , נכנסים לדף Logs Explorer של :

      נכנסים ל-Logs Explorer.

      אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה עם כותרת המשנה Logging.

      היומנים האחרונים מוצגים בחלונית Query results.

  4. בודקים את הסטטוס של הגיבויים הקיימים באמצעות הפקודה backups list:

    gcloud filestore backups list
    

    הפקודה מחזירה פלט דומה לזה:

    NAME                      LOCATION     SRC_INSTANCE                        SRC_FILE_SHARE  STATE
    mybackup-20201123-184500  us-central1  us-central1-c/instances/nfs-server  vol1            READY
    

מחיקת גיבוי

  1. בדוגמה שלנו במדריך הזה, אם רוצים לתזמן פעולה למחיקת גיבוי בכל יום חול בשעה 22:00, משתמשים בפקודה scheduler jobs create http:

    gcloud scheduler jobs create http deletefsbackupschedule \
        --schedule "0 22 * * 1-5" \
        --http-method=GET \
        --uri=https://us-central1-$PROJECT_ID.cloudfunctions.net/deletefsbackup \
        --oidc-service-account-email=$SCHEDULER_CLIENT_SA    \
        --oidc-token-audience=https://us-central1-$PROJECT_ID.cloudfunctions.net/deletefsbackup
    

    בדגל --schedule מציינים את התדירות שבה המשימה פועלת, באמצעות פורמט unix-cron. לפרטים, ראו הגדרת לוחות זמנים למשימות cron.

    פעולות גיבוי של delete שמשויכות לאותו מכונה מקור צריכות להתבצע אחת אחרי השנייה. מידע נוסף זמין במאמר גיבויים.

  2. מפעילים את המשימה של Cloud Scheduler שנוצרה בשלב הקודם. בדוגמה שלנו, אנחנו משתמשים בפקודה scheduler jobs runs כדי להריץ אותו באופן מיידי:

    gcloud scheduler jobs run deletefsbackupschedule
    

    המשימה deletefsbackupschedule מפעילה את הפונקציה deletefsbackup מיד אחרי שמריצים את הפקודה, ואז מפעילה אותה שוב בכל יום חול בשעה 22:00 עד שהמשימה מושהית.

  3. בודקים את היומנים של הפונקציה deletefsbackup כדי לראות אם היא פועלת כמו שצריך ומחזירה את הערך status 200.

    כדי לראות את היומנים במסוף Google Cloud , משתמשים ב-Logs Explorer:

    1. במסוף Google Cloud , נכנסים לדף Logs Explorer של :

      נכנסים ל-Logs Explorer.

      אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה עם כותרת המשנה Logging.

      היומנים האחרונים מוצגים בחלונית Query results.

  4. בודקים את הסטטוס של הגיבויים הקיימים באמצעות הפקודה backups list:

    gcloud filestore backups list
    

    הפקודה מחזירה פלט דומה לזה:

    NAME                      LOCATION     SRC_INSTANCE                        SRC_FILE_SHARE  STATE
    mybackup-20201123-184500  us-central1  us-central1-c/instances/nfs-server  vol1            READY
    

התראות על מכסה נמוכה לגיבויים

אם הטמעתם תזמון גיבויים שעלול לגרום לכם לחרוג ממכסת הגיבויים, מומלץ להגדיר התראות על מכסת גיבויים נמוכה. כך תקבלו התראה כשמכסת הגיבויים תהיה נמוכה.

הסרת המשאבים

אחרי שמסיימים את המדריך, אפשר למחוק את המשאבים שנוצרו, כדי שהם יפסיקו להשתמש במכסה ולצבור חיובים. בסעיפים הבאים מוסבר איך למחוק או להשבית את המשאבים האלו.

מחיקת הפרויקט

הדרך הקלה ביותר לבטל את החיוב היא למחוק את הפרויקט שיצרתם בשביל המדריך הזה.

כדי למחוק את הפרויקט:

  1. במסוף Google Cloud , נכנסים לדף Manage resources.

    כניסה לדף Manage resources

  2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
  3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

המאמרים הבאים