תבנית למחיקה בכמות גדולה ב-Firestore

התבנית "מחיקה בכמות גדולה ב-Firestore" היא צינור עיבוד נתונים שקורא ישויות מ-Firestore באמצעות שאילתת GQL נתונה, ואז מוחק את כל הישויות התואמות בפרויקט היעד שנבחר. הצינור יכול להעביר את ישויות Firestore המקודדות ב-JSON לפונקציה המוגדרת על ידי המשתמש (UDF) ב-JavaScript, שבה אפשר להשתמש כדי לסנן ישויות על ידי החזרת ערכי null.

דרישות לגבי צינור עיבוד הנתונים

  • צריך להגדיר את Firestore בפרויקט לפני שמפעילים את התבנית.
  • אם קוראים ומוחקים ממכונות Firestore נפרדות, לחשבון השירות של ה-worker ב-Dataflow צריכה להיות הרשאה לקרוא ממכונה אחת ולמחוק מהמכונה השנייה.
  • צריך להפעיל את האפשרות כתיבה במסד הנתונים במכונה של Firestore.

פרמטרים של תבניות

פרמטר תיאור
firestoreReadGqlQuery שאילתת GQL שמציינת אילו ישויות למחוק. שימוש בשאילתה של מפתחות בלבד יכול לשפר את הביצועים. לדוגמה: "SELECT __key__ FROM MyKind".
firestoreReadProjectId מזהה הפרויקט של המכונה ב-Firestore שממנה רוצים לקרוא ישויות (באמצעות שאילתת GQL) שמשמשות להתאמה.
firestoreDeleteProjectId מזהה הפרויקט של המכונה של Firestore שממנה רוצים למחוק ישויות תואמות. הוא יכול להיות זהה ל-firestoreReadProjectId אם רוצים לקרוא ולמחוק באותו מכונה של Firestore.
firestoreReadNamespace (אופציונלי) מרחב השמות של הישויות המבוקשות. צריך להגדיר בתור "" למרחב השמות שמוגדר כברירת מחדל.
firestoreHintNumWorkers (אופציונלי) רמז למספר הצפוי של ה-workers בשלב של ויסות קצב ההתאמה ההדרגתית של Firestore. ברירת המחדל היא 500.
javascriptTextTransformGcsPath (אופציונלי) ה-URI של Cloud Storage של קובץ ה-.js שמגדיר את הפונקציה בהגדרת המשתמש (UDF) ב-JavaScript שבה רוצים להשתמש. לדוגמה, gs://my-bucket/my-udfs/my_file.js.
javascriptTextTransformFunctionName (אופציונלי) השם של הפונקציה בהגדרת המשתמש (UDF) ב-JavaScript שבה רוצים להשתמש. לדוגמה, אם קוד הפונקציה של JavaScript הוא myTransform(inJson) { /*...do stuff...*/ }, שם הפונקציה הוא myTransform. במאמר דוגמאות לפונקציות UDF תוכלו למצוא דוגמאות לפונקציות UDF ב-JavaScript. אם הפונקציה הזו מחזירה ערך לא מוגדר או ערך null עבור ישות Firestore נתונה, הישות הזו לא נמחקת.

פונקציה בהגדרת המשתמש (UDF)

אם רוצים, אפשר להרחיב את התבנית הזו על ידי כתיבת פונקציה בהגדרת המשתמש (UDF). התבנית קוראת ל-UDF עבור כל רכיב קלט. המטענים הייעודיים של הרכיבים עוברים סריאליזציה למחרוזות JSON. מידע נוסף זמין במאמר יצירת פונקציות בהגדרת המשתמש (UDF) לתבניות Dataflow.

מפרט הפונקציה

המפרט של ה-UDF הוא:

  • קלט: ישות Firestore שעברה סריאליזציה כמחרוזת JSON.
  • פלט: אם רוצים לשמור את הישות ולא למחוק אותה, צריך להחזיר את הערך null או undefined. אחרת, מחזירים את הישות המקורית למחיקה.

הפעלת התבנית

המסוף

  1. נכנסים לדף Create job from template ב-Dataflow.
  2. כניסה לדף Create job from template
  3. בשדה Job name, מזינים שם ייחודי למשימה.
  4. אופציונלי: בשדה Regional endpoint, בוחרים ערך מהתפריט הנפתח. אזור ברירת המחדל הוא us-central1.

    רשימה של אזורים שבהם אפשר להריץ משימת Dataflow מופיעה במאמר מיקומי Dataflow.

  5. בתפריט הנפתח Dataflow template, בוחרים את התבנית Bulk Delete Entities in Firestore.
  6. בשדות הפרמטרים שמופיעים, מזינים את ערכי הפרמטרים.
  7. לוחצים על Run job.

gcloud

במעטפת או בטרמינל, מריצים את התבנית:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates/VERSION/Firestore_to_Firestore_Delete \
    --region REGION_NAME \
    --parameters \
firestoreReadGqlQuery="GQL_QUERY",\
firestoreReadProjectId=FIRESTORE_READ_AND_DELETE_PROJECT_ID,\
firestoreDeleteProjectId=FIRESTORE_READ_AND_DELETE_PROJECT_ID

מחליפים את מה שכתוב בשדות הבאים:

  • ‫JOB_NAME: שם ייחודי למשימה, לפי בחירתכם
  • ‫REGION_NAME: האזור שבו רוצים לפרוס את משימת Dataflow, לדוגמה us-central1
  • ‫VERSION: גרסת התבנית שבה רוצים להשתמש

    אפשר להשתמש בערכים הבאים:

    • latest כדי להשתמש בגרסה העדכנית של התבנית, שזמינה בתיקיית ההורה ללא תאריך בקטגוריה – gs://dataflow-templates/latest/
    • שם הגרסה, כמו 2023-09-12-00_RC00, כדי להשתמש בגרסה ספציפית של התבנית, שנמצאת בתיקיית הנתונים מתאריך ספציפי בקטגוריה – gs://dataflow-templates/
  • ‫GQL_QUERY: השאילתה שתשמש להתאמת ישויות למחיקה
  • ‫FIRESTORE_READ_AND_DELETE_PROJECT_ID: מזהה הפרויקט של המכונה ב-Firestore. בדוגמה הזו, גם קוראים וגם מוחקים מאותו מופע של Firestore.

API

כדי להריץ את התבנית באמצעות ה-API ל-REST, שולחים בקשת HTTP POST. למידע נוסף על ה-API ועל היקפי ההרשאות שלו, קראו את המאמר projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates/VERSION/Firestore_to_Firestore_Delete
{
   "jobName": "JOB_NAME",
   "parameters": {
       "firestoreReadGqlQuery": "GQL_QUERY",
       "firestoreReadProjectId": "FIRESTORE_READ_AND_DELETE_PROJECT_ID",
       "firestoreDeleteProjectId": "FIRESTORE_READ_AND_DELETE_PROJECT_ID"
   },
   "environment": { "zone": "us-central1-f" }
}

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: Google Cloud מזהה הפרויקט שבו רוצים להריץ את משימת Dataflow
  • ‫JOB_NAME: שם ייחודי למשימה, לפי בחירתכם
  • ‫LOCATION: האזור שבו רוצים לפרוס את משימת Dataflow, לדוגמה us-central1
  • ‫VERSION: גרסת התבנית שבה רוצים להשתמש

    אפשר להשתמש בערכים הבאים:

    • latest כדי להשתמש בגרסה העדכנית של התבנית, שזמינה בתיקיית ההורה ללא תאריך בקטגוריה – gs://dataflow-templates/latest/
    • שם הגרסה, כמו 2023-09-12-00_RC00, כדי להשתמש בגרסה ספציפית של התבנית, שנמצאת בתיקיית הנתונים מתאריך ספציפי בקטגוריה – gs://dataflow-templates/
  • ‫GQL_QUERY: השאילתה שתשמש להתאמת ישויות למחיקה
  • ‫FIRESTORE_READ_AND_DELETE_PROJECT_ID: מזהה הפרויקט של המכונה ב-Firestore. בדוגמה הזו, גם קוראים וגם מוחקים מאותו מופע של Firestore.

המאמרים הבאים