בדף הזה מוסבר איך ליצור ולהתאים אישית תור דחיפה, ואיך לבדוק את התוכן של התור.
שימוש בקובץ תצורה ליצירת תורים
כדי לעבד משימה, צריך להוסיף אותה לתור דחיפה. ב-App Engine יש תור דחיפה שמוגדר כברירת מחדל, בשם default, שמוכן לשימוש עם הגדרות ברירת המחדל. אם רוצים, אפשר פשוט להוסיף את כל המשימות לתור ברירת המחדל, בלי ליצור ולהגדיר תורים אחרים.
כדי להוסיף תורים או לשנות את הגדרות ברירת המחדל, צריך לערוך את קובץ התצורה של התור באפליקציה ולהעלות אותו ל-App Engine. אפשר ליצור עד 100 תורים. אי אפשר ליצור תורים באופן דינמי.
קובץ התצורה הזה מגדיר שני תורים:
queue:
- name: queue-blue
target: v2.task-module
rate: 5/s
- name: queue-red
rate: 1/s
כדי להעלות את הקובץ:
gcloud app deploy queue.yaml
כל המשימות שנוספות אל queue-blue נשלחות למודול היעד v2.task-module.
קצב הרענון של queue-red השתנה מ-5 לשנייה ל-1 לשנייה. המשימות יוסרו מהתור ויישלחו ליעדים שלהן בקצב של משימה אחת לשנייה.
אם מוחקים תור, צריך להמתין כ-7 ימים לפני שיוצרים תור חדש עם אותו שם.
יש עוד הרבה פרמטרים שאפשר להוסיף לקובץ התצורה כדי להתאים אישית את ההתנהגות של תור דחיפה. מידע נוסף זמין בקובץ העזר בנושא הגדרת תור.
הגדרת קצב העיבוד של תור דחיפה (push queue)
אתם יכולים לשלוט בקצב עיבוד המשימות בכל אחד מהתורים שלכם על ידי הגדרת הוראות אחרות, כמו rate, bucket_size ו-max_concurrent_requests.
תור המשימות משתמש בדלי אסימונים כדי לשלוט בקצב ביצוע המשימות. לכל תור בעל שם יש token bucket שמכיל אסימונים, עד למספר המקסימלי שצוין ב-bucket_size, או עד למקסימום של 5 אסימונים אם לא ציינתם את גודל הקטגוריה.
בכל פעם שהאפליקציה מבצעת משימה, אסימון מוסר מהדלי.
האפליקציה ממשיכה לעבד משימות בתור עד שנגמרים האסימונים בדלי של התור. App Engine ממלא את הקטגוריה באסימונים חדשים באופן רציף, על סמך הערך של rate שציינתם לתור.
אם בתור יש משימות לעיבוד, ובדלי של התור יש אסימונים, App Engine מעבד בו-זמנית מספר משימות כמספר האסימונים. זה יכול להוביל לעומס בעיבוד, לצריכת משאבי מערכת ולהתחרות עם בקשות של משתמשים.
כדי למנוע הפעלה של יותר מדי משימות בבת אחת או למנוע תחרות על משאבים במאגר הנתונים, משתמשים ב-max_concurrent_requests.
בדוגמה הבאה אפשר לראות איך מגדירים את max_concurrent_requests כדי להגביל את המשימות, ואיך לשנות את גודל הקטגוריה ואת הקצב בהתאם לצרכים של האפליקציה ולמשאבים הזמינים:
queue:
- name: queue-blue
rate: 20/s
bucket_size: 40
max_concurrent_requests: 10
הגדרת מגבלות אחסון לכל התורים
אתם יכולים להשתמש בקובץ התצורה של התור כדי להגדיר את נפח האחסון הכולל שנתוני המשימות יכולים לצרוך בכל התורים. כדי להגדיר את מגבלת האחסון הכוללת, צריך לכלול רכיב בשם total_storage_limit ברמה העליונה:
# Set the total storage limit for all queues to 120MB
total_storage_limit: 120M
queue:
- name: queue-blue
rate: 35/s
הערך הוא מספר ואחריו יחידה: B לבייטים, K לקילובייטים, M למגה-בייטים, G לג'יגה-בייטים, T לטרה-בייטים. לדוגמה, 100K מציין מגבלה של 100 קילובייט. אם הוספת משימה תגרום לתור לחרוג ממגבלת האחסון שלו, הקריאה להוספת המשימה תיכשל. מגבלת ברירת המחדל היא 500M (500 מגה-בייט) לאפליקציות בחינם. באפליקציות שמחויבות בתשלום אין מגבלה עד שמגדירים מגבלה באופן מפורש. אתם יכולים להשתמש במגבלה הזו כדי להגן על האפליקציה מפני שגיאת תכנות מסוג fork bomb, שבה כל משימה מוסיפה כמה משימות אחרות במהלך הביצוע שלה.
אם אתם מקבלים הודעות שגיאה באפליקציה על מכסה לא מספיקה כשאתם מוסיפים משימות, יכול להיות שהגדלת מגבלת האחסון הכוללת תעזור. אם אתם משתמשים בתכונה הזו, מומלץ מאוד להגדיר מגבלה שתואמת לנפח האחסון שנדרש למשימות של כמה ימים. כך התורים יכולים לגבות באופן זמני ולהמשיך לקבל משימות חדשות בזמן שהם עובדים על צבר המשימות, ועדיין להיות מוגנים מפני שגיאת תכנות של פצצת מזלג.
מעקב אחרי תורים במסוף Google Cloud
נכנסים לדף Cloud Tasks במסוף Google Cloud .
שימו לב שאם נכנסים לדף Task queue של App Engine, מופיעות הוראות שמפנות לדף Cloud Tasks. העדכון הזה במסוף Google Cloud לא משנה את אופן הפעולה של תורי המשימות.
מפעילים את Cloud Tasks API.
בדף Cloud Tasks תופיע רשימה של כל התורים באפליקציה. לחיצה על שם התור פותחת את הדף Queue Details, שבו מוצגות כל המשימות בתור שנבחר.
המאמרים הבאים
מידע ולמידה על יצירת משימות