התבנית "מחיקה בכמות גדולה ב-Firestore" היא צינור עיבוד נתונים שקורא ישויות מ-Firestore באמצעות שאילתת GQL נתונה, ואז מוחק את כל הישויות התואמות בפרויקט היעד שנבחר. הצינור יכול להעביר את ישויות Firestore המקודדות ב-JSON לפונקציה המוגדרת על ידי המשתמש (UDF) ב-JavaScript, שבה אפשר להשתמש כדי לסנן ישויות על ידי החזרת ערכי null.
דרישות לגבי צינור עיבוד הנתונים
- צריך להגדיר את Firestore בפרויקט לפני שמפעילים את התבנית.
- אם קוראים ומוחקים ממכונות Firestore נפרדות, לחשבון השירות של ה-worker ב-Dataflow צריכה להיות הרשאה לקרוא ממכונה אחת ולמחוק מהמכונה השנייה.
- צריך להפעיל את האפשרות כתיבה במסד הנתונים במכונה של Firestore.
פרמטרים של תבניות
| פרמטר | תיאור |
|---|---|
firestoreReadGqlQuery |
שאילתת GQL שמציינת אילו ישויות למחוק. שימוש בשאילתה של מפתחות בלבד יכול לשפר את הביצועים. לדוגמה: "SELECT __key__ FROM MyKind". |
firestoreReadProjectId |
מזהה הפרויקט של המכונה ב-Firestore שממנה רוצים לקרוא ישויות (באמצעות שאילתת GQL) שמשמשות להתאמה. |
firestoreDeleteProjectId |
מזהה הפרויקט של המכונה של Firestore שממנה רוצים למחוק ישויות תואמות. הוא יכול להיות זהה ל-firestoreReadProjectId אם רוצים לקרוא ולמחוק באותו מכונה של Firestore. |
firestoreReadNamespace |
(אופציונלי) מרחב השמות של הישויות המבוקשות. צריך להגדיר בתור "" למרחב השמות שמוגדר כברירת מחדל. |
firestoreHintNumWorkers |
(אופציונלי) רמז למספר הצפוי של ה-workers בשלב של ויסות קצב ההתאמה ההדרגתית של Firestore. ברירת המחדל היא 500. |
javascriptTextTransformGcsPath |
(אופציונלי)
ה-URI של Cloud Storage של קובץ ה-.js שמגדיר את הפונקציה בהגדרת המשתמש (UDF) ב-JavaScript שבה רוצים להשתמש. לדוגמה, gs://my-bucket/my-udfs/my_file.js.
|
javascriptTextTransformFunctionName |
(אופציונלי)
השם של הפונקציה בהגדרת המשתמש (UDF) ב-JavaScript שבה רוצים להשתמש.
לדוגמה, אם קוד הפונקציה של JavaScript הוא myTransform(inJson) { /*...do stuff...*/ }, שם הפונקציה הוא myTransform. במאמר דוגמאות לפונקציות UDF תוכלו למצוא דוגמאות לפונקציות UDF ב-JavaScript.
אם הפונקציה הזו מחזירה ערך לא מוגדר או ערך null עבור
ישות Firestore נתונה, הישות הזו לא נמחקת. |
פונקציה בהגדרת המשתמש (UDF)
אם רוצים, אפשר להרחיב את התבנית הזו על ידי כתיבת פונקציה בהגדרת המשתמש (UDF). התבנית קוראת ל-UDF עבור כל רכיב קלט. המטענים הייעודיים של הרכיבים עוברים סריאליזציה למחרוזות JSON. מידע נוסף זמין במאמר יצירת פונקציות בהגדרת המשתמש (UDF) לתבניות Dataflow.
מפרט הפונקציה
המפרט של ה-UDF הוא:
- קלט: ישות Firestore שעברה סריאליזציה כמחרוזת JSON.
- פלט: אם רוצים לשמור את הישות ולא למחוק אותה,
צריך להחזיר את הערך
nullאוundefined. אחרת, מחזירים את הישות המקורית למחיקה.
הפעלת התבנית
המסוף
- נכנסים לדף Create job from template ב-Dataflow. כניסה לדף Create job from template
- בשדה Job name, מזינים שם ייחודי למשימה.
- אופציונלי: בשדה Regional endpoint, בוחרים ערך מהתפריט הנפתח. אזור ברירת המחדל הוא
us-central1.רשימה של אזורים שבהם אפשר להריץ משימת Dataflow מופיעה במאמר מיקומי Dataflow.
- בתפריט הנפתח Dataflow template, בוחרים את התבנית Bulk Delete Entities in Firestore.
- בשדות הפרמטרים שמופיעים, מזינים את ערכי הפרמטרים.
- לוחצים על Run job.
gcloud
במעטפת או בטרמינל, מריצים את התבנית:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates/VERSION/Firestore_to_Firestore_Delete \ --region REGION_NAME \ --parameters \ firestoreReadGqlQuery="GQL_QUERY",\ firestoreReadProjectId=FIRESTORE_READ_AND_DELETE_PROJECT_ID,\ firestoreDeleteProjectId=FIRESTORE_READ_AND_DELETE_PROJECT_ID
מחליפים את מה שכתוב בשדות הבאים:
-
JOB_NAME: שם ייחודי למשימה, לפי בחירתכם -
REGION_NAME: האזור שבו רוצים לפרוס את משימת Dataflow, לדוגמהus-central1 -
VERSION: גרסת התבנית שבה רוצים להשתמשאפשר להשתמש בערכים הבאים:
latestכדי להשתמש בגרסה העדכנית של התבנית, שזמינה בתיקיית ההורה ללא תאריך בקטגוריה – gs://dataflow-templates/latest/- שם הגרסה, כמו
2023-09-12-00_RC00, כדי להשתמש בגרסה ספציפית של התבנית, שנמצאת בתיקיית הנתונים מתאריך ספציפי בקטגוריה – gs://dataflow-templates/
-
GQL_QUERY: השאילתה שתשמש להתאמת ישויות למחיקה -
FIRESTORE_READ_AND_DELETE_PROJECT_ID: מזהה הפרויקט של המכונה ב-Firestore. בדוגמה הזו, גם קוראים וגם מוחקים מאותו מופע של Firestore.
API
כדי להריץ את התבנית באמצעות ה-API ל-REST, שולחים בקשת HTTP POST. למידע נוסף על ה-API ועל היקפי ההרשאות שלו, קראו את המאמר projects.templates.launch.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates/VERSION/Firestore_to_Firestore_Delete { "jobName": "JOB_NAME", "parameters": { "firestoreReadGqlQuery": "GQL_QUERY", "firestoreReadProjectId": "FIRESTORE_READ_AND_DELETE_PROJECT_ID", "firestoreDeleteProjectId": "FIRESTORE_READ_AND_DELETE_PROJECT_ID" }, "environment": { "zone": "us-central1-f" } }
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: Google Cloud מזהה הפרויקט שבו רוצים להריץ את משימת Dataflow -
JOB_NAME: שם ייחודי למשימה, לפי בחירתכם -
LOCATION: האזור שבו רוצים לפרוס את משימת Dataflow, לדוגמהus-central1 -
VERSION: גרסת התבנית שבה רוצים להשתמשאפשר להשתמש בערכים הבאים:
latestכדי להשתמש בגרסה העדכנית של התבנית, שזמינה בתיקיית ההורה ללא תאריך בקטגוריה – gs://dataflow-templates/latest/- שם הגרסה, כמו
2023-09-12-00_RC00, כדי להשתמש בגרסה ספציפית של התבנית, שנמצאת בתיקיית הנתונים מתאריך ספציפי בקטגוריה – gs://dataflow-templates/
-
GQL_QUERY: השאילתה שתשמש להתאמת ישויות למחיקה -
FIRESTORE_READ_AND_DELETE_PROJECT_ID: מזהה הפרויקט של המכונה ב-Firestore. בדוגמה הזו, גם קוראים וגם מוחקים מאותו מופע של Firestore.