במדריך הזה נסביר איך לתזמן גיבויים של מכונות Filestore באמצעות Cloud Scheduler ופונקציות Cloud Run.
במאמר גיבויים משופרים של Filestore מוסבר איך יוצרים גיבויים באמצעות מתזמן שירות מנוהל.
מטרות
- יוצרים חשבון שירות לקוח ל-Cloud Scheduler עם פרטי הכניסה שנדרשים כדי להפעיל פונקציית Cloud Run.
- יוצרים חשבון שירות של לקוח לפונקציות Cloud Run, עם פרטי הכניסה שנדרשים כדי לשלוח קריאה לנקודת הקצה של Filestore.
- יוצרים פונקציית Cloud Run שיוצרת גיבוי של מכונת Filestore.
- יוצרים פונקציית Cloud Run שמוחקת גיבוי של מכונה ב-Filestore.
- יוצרים משימה ב-Cloud Scheduler שמריצה את אחת מהפונקציות במרווחי זמן קבועים.
עלויות
במסמך הזה משתמשים ברכיבים הבאים של Google Cloud, והשימוש בהם כרוך בתשלום:
- Artifact Registry API
- Cloud Build API
- Filestore API
- Cloud Functions API
- Cloud Logging API
- Pub/Sub API
- Cloud Run Admin API
- Cloud Scheduler API
בעזרת מחשבון העלויות אתם יכולים להעריך את העלויות בהתאם לשימוש הצפוי.
לפני שמתחילים
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Artifact Registry, Cloud Build, Filestore, Cloud Run functions, Cloud Logging, Pub/Sub, Cloud Run, and Cloud Scheduler APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Install the Google Cloud CLI.
-
Configure the gcloud CLI to use your federated identity.
For more information, see Sign in to the gcloud CLI with your federated identity.
-
To initialize the gcloud CLI, run the following command:
gcloud init - אם אין לכם מכונה של Filestore בפרויקט, קודם צריך ליצור אחת.
יצירת חשבונות שירות של לקוחות בשביל Cloud Scheduler ופונקציות Cloud Run
אם עדיין לא עשיתם זאת, לוחצים על Activate Cloud Shell במסוף Google Cloud .
יוצרים חשבון שירות של לקוח ש-Cloud Scheduler פועל בתורו כדי להפעיל פונקציית Cloud Run. בדוגמה הזו, משתמשים בפקודה
iam service-accounts createכדי לתת לחשבון את השםschedulerunnerולהגדיר את השם המוצג בתור "Service Account for FS Backups-Scheduler":gcloud iam service-accounts create schedulerunner \ --display-name="Service Account for FS Backups-Scheduler"יוצרים חשבון שירות של לקוח שפונקציות Cloud Run פועלות בתורו כדי לקרוא לנקודת הקצה של Filestore. בדוגמה הזו, נתנו לחשבון את השם
backupagentוהגדרנו את השם המוצג בתור "Service Account for FS Backups-GCF":gcloud iam service-accounts create backupagent \ --display-name="Service Account for FS Backups-GCF"כדי לבדוק אם חשבון השירות נוצר, מריצים את הפקודה
iam service-accounts list:gcloud iam service-accounts listהפקודה מחזירה משהו כזה:
NAME EMAIL DISABLED Service Account for FS Backups-GCF backupagent@$PROJECT_ID. False Service Account for FS Backups-Scheduler schedulerunner@$PROJECT_ID. False
הגדרת משתני סביבה
מגדירים את משתני הסביבה הבאים בסביבה המקומית:
Google Cloud מזהה הפרויקט והפרויקט:
export PROJECT_ID=`gcloud config get-value core/project` export PROJECT_NUMBER=`gcloud projects describe $PROJECT_ID --format="value(projectNumber)"`סוכן השירות של Cloud Scheduler וחשבונות השירות של הלקוח בשביל Cloud Scheduler ופונקציות Cloud Run:
export SCHEDULER_SA=service-$PROJECT_NUMBER@gcp-sa-cloudscheduler. export SCHEDULER_CLIENT_SA=schedulerunner@$PROJECT_ID. export GCF_CLIENT_SA=backupagent@$PROJECT_ID.המכונה שלכם ב-Filestore:
export SOURCE_INSTANCE_LOCATION=fs-location export SOURCE_INSTANCE_NAME=instance-id export SHARE_NAME=file-share-nameמחליפים את מה שכתוב בשדות הבאים:
- fs-location באזור או במחוז שבו נמצא מכונה המקור של Filestore.
- instance-id במזהה המכונה של מכונת המקור ב-Filestore.
- file-share-name עם השם שציינתם לשיתוף הקבצים ב-NFS שמוצג מהמכונה.
מגדירים משתני סביבה לגיבוי של Filestore:
export BACKUP_REGION=backup-regionמחליפים את backup-region באזור שבו רוצים לאחסן את הגיבוי.
יצירת פונקציה שיוצרת גיבוי
נכנסים לדף פונקציות Cloud Run במסוף Google Cloud .
לוחצים על כתיבת פונקציה ומגדירים את הפונקציה באופן הבא:
- הגדרה:
- Service Name: בדוגמה הזו, נותנים לפונקציה את השם
fsbackup. - Region: בדוגמה הזו בוחרים באפשרות
us-central1. - Runtime: בוחרים מהתפריט כל סביבת זמן ריצה של Python 3 שנתמכת באופן מלא על ידי פונקציות Cloud Run.
- Service Name: בדוגמה הזו, נותנים לפונקציה את השם
- טריגר:
- בדוגמה הזו לא צריך להגדיר טריגר.
- אימות: בוחרים באפשרות
Require authentication. - Ingress: בוחרים באפשרות
All. - קונטיינרים, אמצעי אחסון, רשתות, אבטחה
- עוברים לכרטיסייה אבטחה ובוחרים באפשרות
Service Account for FS Backups-GCF(backupagent@$PROJECT_ID.) בתפריט.
- עוברים לכרטיסייה אבטחה ובוחרים באפשרות
- הגדרה:
לוחצים על יצירה וממשיכים בהגדרה באופן הבא:
- Function entry point: מזינים
create_backup. מוסיפים את יחסי התלות הבאים לקובץ
requirements.txt:functions-framework==3.* google-auth==2.29.0 requests==2.31.0בהתאם לתרחיש לדוגמה, יכול להיות שתצטרכו לציין יחסי תלות אחרים יחד עם מספרי הגרסאות התואמים שלהם. מידע נוסף מופיע במאמר חבילות שהותקנו מראש.
מעתיקים את דוגמת הקוד הבאה ב-Python לקובץ
main.pyבאמצעות עורך הקוד:יצירת גיבוי
דוגמת הקוד הזו יוצרת גיבוי בשם
mybackup-, שאליו מצורף זמן היצירה.PROJECT_ID = 'project-id' SOURCE_INSTANCE_LOCATION = 'fs-location' SOURCE_INSTANCE_NAME = 'instance-id' SOURCE_FILE_SHARE_NAME = 'file-share-name' BACKUP_REGION = 'backup-region' import functions_framework import google.auth import google.auth.transport.requests from google.auth.transport.requests import AuthorizedSession import time import requests import json credentials, project = google.auth.default() auth_request = google.auth.transport.requests.Request() credentials.refresh(auth_request) authed_session = AuthorizedSession(credentials) def get_backup_id(): return "mybackup-" + time.strftime("%Y%m%d-%H%M%S") @functions_framework.http def create_backup(request): trigger_run_url = "https://file.googleapis.com/v1/projects/{}/locations/{}/backups?backupId={}".format(PROJECT_ID, BACKUP_REGION, get_backup_id()) headers = { 'Content-Type': 'application/json' } post_data = { "description": "my new backup", "source_instance": "projects/{}/locations/{}/instances/{}".format(PROJECT_ID, SOURCE_INSTANCE_LOCATION, SOURCE_INSTANCE_NAME), "source_file_share": "{}".format(SOURCE_FILE_SHARE_NAME) } print("Making a request to " + trigger_run_url) r = authed_session.post(url=trigger_run_url, headers=headers, data=json.dumps(post_data)) data = r.json() print(data) if r.status_code == requests.codes.ok: print(str(r.status_code) + ": The backup is uploading in the background.") else: raise RuntimeError(data['error']) return "Backup creation has begun!"מחליפים את מה שכתוב בשדות הבאים:
- project-id במזהה הפרויקט ב- Google Cloud של מכונת המקור ב-Filestore.
- fs-location באזור או בתחום של מכונת המקור ב-Filestore.
- instance-id בשם של מכונת המקור ב-Filestore.
- file-share-name בשם של שיתוף הקבצים.
- backup-region באזור שבו רוצים לאחסן את הגיבוי.
לוחצים על בדיקה.
סשן חדש נפתח בכרטיסייה ב-Cloud Shell. אם הפעולה תצליח, תוחזר ההודעה הבאה:
Backup creation has begun!לוחצים על Save and redeploy וממתינים עד שהפריסה תסתיים.
חוזרים לכרטיסייה הקודמת של Cloud Shell.
מחיקת גיבוי
דוגמת הקוד הזו מוחקת גיבויים שנוצרו לפני תקופה מוגדרת מראש.
אפשר למחוק רק גיבוי אחד בכל פעם לכל מכונה של מקור. מידע נוסף זמין במאמר גיבויים.
מגדירים את הפונקציה הזו באותו אופן שבו הגדרתם את הפונקציה ליצירת גיבוי, עם השינויים הבאים:
- שם הפונקציה:
deletefsbackup. - נקודת כניסה:
delete_backup.
PROJECT_ID = 'project-id' BACKUP_REGION = 'region' BACKUP_RETENTION_TIME_HRS = hours import functions_framework import google.auth import google.auth.transport.requests from google.auth.transport.requests import AuthorizedSession import time import requests import json credentials, project = google.auth.default() auth_request = google.auth.transport.requests.Request() credentials.refresh(auth_request) authed_session = AuthorizedSession(credentials) retention_seconds = BACKUP_RETENTION_TIME_HRS * 60 * 60 @functions_framework.http def delete_backup(request): now = time.time() backup_list = [] trigger_run_url = "https://file.googleapis.com/v1/projects/{}/locations/{}/backups".format(PROJECT_ID, BACKUP_REGION) r = authed_session.get(trigger_run_url) data = r.json() if not data: print("No backups to delete.") return "No backups to delete." else: backup_list.extend(data['backups']) while "nextPageToken" in data.keys(): nextPageToken = data['nextPageToken'] trigger_run_url_next = "https://file.googleapis.com/v1/projects/{}/locations/{}/backups?pageToken={}".format(PROJECT_ID, BACKUP_REGION, nextPageToken) r = authed_session.get(trigger_run_url_next) data = r.json() backup_list.extend(data['backups']) for i in backup_list: backup_time = i['createTime'] backup_time = backup_time[:-4] backup_time = float(time.mktime(time.strptime(backup_time, "%Y-%m-%dT%H:%M:%S.%f"))) i['backup_timestamp'] = backup_time sorted_backup_list = sorted(backup_list, key=lambda d: d['backup_timestamp']) oldest_backup = sorted_backup_list[0] if now - oldest_backup['backup_timestamp'] > retention_seconds: print(oldest_backup['name'] + " is older than the indicated retention time.") r = authed_session.delete("https://file.googleapis.com/v1/{}".format(oldest_backup['name'])) data = r.json() print(data) if r.status_code == requests.codes.ok: print(str(r.status_code) + ": Deleting " + oldest_backup['name'] + " in the background.") else: raise RuntimeError(data['error']) return "Backup deletion has begun!" return "All backups are within the indicated retention period."מחליפים את מה שכתוב בשדות הבאים:
- project-id במזהה הפרויקט ב- Google Cloud של הגיבוי.
- region באזור שבו נמצא הגיבוי. הגיבוי, המשימה המתוזמנת והפונקציה צריכים להיות באותו מיקום.
- hours במספר השעות לשמירת הגיבויים. לדוגמה, אם רוצים לשמור גיבויים למשך 10 ימים, מזינים
240.
- Function entry point: מזינים
הקצאת תפקידי IAM לחשבונות השירות של הלקוח
מוסיפים את סוכן השירות של Cloud Scheduler למדיניות ה-IAM של חשבון השירות של הלקוח של Cloud Scheduler, עם התפקיד
roles/cloudscheduler.serviceAgent. כך סוכן השירות יכול להתחזות לחשבון השירות של הלקוח כדי להפעיל את הפונקציה שיוצרת גיבוי. מריצים את הפקודהiam service-accounts add-iam-policy-binding:gcloud iam service-accounts add-iam-policy-binding $SCHEDULER_CLIENT_SA \ --member=serviceAccount:$SCHEDULER_SA \ --role=roles/cloudscheduler.serviceAgentמקצים לחשבון השירות של הלקוח בפונקציות Cloud Run את התפקיד
roles/file.editor, כדי שהוא יוכל לבצע קריאות לנקודת הקצה של Filestore. מריצים את הפקודהprojects add-iam-policy-binding:gcloud projects add-iam-policy-binding $PROJECT_ID \ --member=serviceAccount:$GCF_CLIENT_SA \ --role=roles/file.editorמקצים לחשבון השירות של הלקוח ב-Cloud Scheduler את התפקיד
roles/run.invokerבפונקציה שבה רוצים להשתמש. מריצים את הפקודה הבאה שלrun services add-iam-policy-binding:יצירת גיבוי
gcloud run services add-iam-policy-binding fsbackup \ --member serviceAccount:$SCHEDULER_CLIENT_SA \ --role roles/run.invoker \ --region=us-central1עכשיו רק חשבון השירות של הלקוח ב-Cloud Scheduler יכול להפעיל את
fsbackup.מחיקת גיבוי
gcloud run services add-iam-policy-binding deletefsbackup \ --member serviceAccount:$SCHEDULER_CLIENT_SA \ --role roles/run.invokerעכשיו רק חשבון השירות של הלקוח ב-Cloud Scheduler יכול להפעיל את
deletefsbackup.
יצירת משימה ב-Cloud Scheduler שמפעילה את הפונקציה לפי לוח זמנים מסוים
יצירת גיבוי
לדוגמה, אם רוצים לתזמן גיבוי כל יום חול בשעה 22:00, משתמשים בפקודה
scheduler jobs create http:gcloud scheduler jobs create http fsbackupschedule \ --schedule "0 22 * * 1-5" \ --http-method=GET \ --uri=https://fsbackup-$PROJECT_NUMBER.us-central1.run.app \ --oidc-service-account-email=$SCHEDULER_CLIENT_SA \ --location=us-central1בדגל
--scheduleמציינים את התדירות שבה המשימה פועלת, באמצעות פורמט unix-cron. לפרטים, ראו הגדרת לוחות זמנים למשימות cron.אפשר ליצור עד שישה גיבויים לכל מכונה בשעה.
מפעילים את המשימה של Cloud Scheduler שנוצרה בשלב הקודם. בדוגמה שלנו, משתמשים בפקודה
scheduler jobs runsכדי להריץ אותו מיד:gcloud scheduler jobs run fsbackupscheduleהמשימה
fsbackupscheduleמפעילה את הפונקציהfsbackupמיד אחרי שמריצים את הפקודה, ואז מפעילה אותה שוב בכל יום חול בשעה 22:00 עד שהמשימה מושהית.בודקים את היומנים של הפונקציה
fsbackupכדי לראות אם היא פועלת כמו שצריך ומחזירה את הערךstatus 200.כדי לראות את היומנים במסוף Google Cloud , משתמשים ב-Logs Explorer:
-
במסוף Google Cloud , נכנסים לדף Logs Explorer של :
אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה עם כותרת המשנה Logging.
היומנים האחרונים מוצגים בחלונית Query results.
-
בודקים את הסטטוס של הגיבויים הקיימים באמצעות הפקודה
backups list:gcloud filestore backups listהפקודה מחזירה פלט דומה לזה:
NAME LOCATION SRC_INSTANCE SRC_FILE_SHARE STATE mybackup-20201123-184500 us-central1 us-central1-c/instances/nfs-server vol1 READY
מחיקת גיבוי
בדוגמה שלנו במדריך הזה, אם רוצים לתזמן פעולה למחיקת גיבוי בכל יום חול בשעה 22:00, משתמשים בפקודה
scheduler jobs create http:gcloud scheduler jobs create http deletefsbackupschedule \ --schedule "0 22 * * 1-5" \ --http-method=GET \ --uri=https://us-central1-$PROJECT_ID.cloudfunctions.net/deletefsbackup \ --oidc-service-account-email=$SCHEDULER_CLIENT_SA \ --oidc-token-audience=https://us-central1-$PROJECT_ID.cloudfunctions.net/deletefsbackupבדגל
--scheduleמציינים את התדירות שבה המשימה פועלת, באמצעות פורמט unix-cron. לפרטים, ראו הגדרת לוחות זמנים למשימות cron.פעולות גיבוי של
deleteשמשויכות לאותו מכונה מקור צריכות להתבצע אחת אחרי השנייה. מידע נוסף זמין במאמר גיבויים.מפעילים את המשימה של Cloud Scheduler שנוצרה בשלב הקודם. בדוגמה שלנו, אנחנו משתמשים בפקודה
scheduler jobs runsכדי להריץ אותו באופן מיידי:gcloud scheduler jobs run deletefsbackupscheduleהמשימה
deletefsbackupscheduleמפעילה את הפונקציהdeletefsbackupמיד אחרי שמריצים את הפקודה, ואז מפעילה אותה שוב בכל יום חול בשעה 22:00 עד שהמשימה מושהית.בודקים את היומנים של הפונקציה
deletefsbackupכדי לראות אם היא פועלת כמו שצריך ומחזירה את הערךstatus 200.כדי לראות את היומנים במסוף Google Cloud , משתמשים ב-Logs Explorer:
-
במסוף Google Cloud , נכנסים לדף Logs Explorer של :
אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה עם כותרת המשנה Logging.
היומנים האחרונים מוצגים בחלונית Query results.
-
בודקים את הסטטוס של הגיבויים הקיימים באמצעות הפקודה
backups list:gcloud filestore backups listהפקודה מחזירה פלט דומה לזה:
NAME LOCATION SRC_INSTANCE SRC_FILE_SHARE STATE mybackup-20201123-184500 us-central1 us-central1-c/instances/nfs-server vol1 READY
התראות על מכסה נמוכה לגיבויים
אם הטמעתם תזמון גיבויים שעלול לגרום לכם לחרוג ממכסת הגיבויים, מומלץ להגדיר התראות על מכסת גיבויים נמוכה. כך תקבלו התראה כשמכסת הגיבויים תהיה נמוכה.
הסרת המשאבים
אחרי שמסיימים את המדריך, אפשר למחוק את המשאבים שנוצרו, כדי שהם יפסיקו להשתמש במכסה ולצבור חיובים. בסעיפים הבאים מוסבר איך למחוק או להשבית את המשאבים האלו.
מחיקת הפרויקט
הדרך הקלה ביותר לבטל את החיוב היא למחוק את הפרויקט שיצרתם בשביל המדריך הזה.
כדי למחוק את הפרויקט:
- במסוף Google Cloud , נכנסים לדף Manage resources.
- ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
- כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.