אתם יכולים להשתמש בהעשרת אובייקטים כדי ליצור באופן אוטומטי מטא-נתונים מובְנים, בלי לבנות צינורות עיבוד נתונים מותאמים אישית של למידת מכונה. התכונה "העשרת אובייקטים" מיישמת את המודלים של למידת המכונה שאומנו מראש על ידי Google ישירות על האובייקטים שמאוחסנים, כדי לעזור לכם לחפש, לאסוף ולנהל את הנתונים הלא מובְנים שלכם בקנה מידה נרחב.
כדי להתחיל ליצור מטא-נתונים לאובייקטים, קראו את המאמר הגדרת העשרת אובייקטים.
איך זה עובד
כדי להשתמש בהעשרת אובייקטים, צריך להשתמש בחלקים הבאים של המערכת:
- הגדרת התכונה (
FeatureConfig): אתם יוצרים הגדרת תכונה כדי לציין אילו קטגוריות או פרויקטים Cloud Storage מנטר. - מודלים של למידת מכונה: בהגדרות האישיות אתם בוחרים את המודלים שאתם רוצים להחיל, כמו מודלים שמזהים אובייקטים, מוסיפים תוויות לתמונות, מנתחים פנים או מסווגים מסמכי PDF.
- העשרת אובייקטים (מטא-נתונים): המערכת של Cloud Storage סורקת את האובייקטים באופן אסינכרוני ומעריכה את האובייקטים המתאימים באמצעות המודלים שבחרתם. לאחר מכן, Cloud Storage מצרף את המטא-נתונים שנוצרו ישירות לאובייקטים בתור הקשרים של אובייקטים.
אחרי ש-Cloud Storage מצרף את המטא-נתונים להעשרה לאובייקטים, אפשר להשתמש בהם. אתם יכולים לבדוק העשרות אובייקטים ספציפיים, או להשתמש במערכי נתונים של Storage Insights כדי לנתח מטא-נתונים של מיליוני אובייקטים באמצעות SQL ב-BigQuery.
בתרשים הבא אפשר לראות איך Cloud Storage משתמש בהעשרת אובייקטים כדי לחלץ הקשר מנתונים לא מובְנים ולשמור אותו כהקשרי אובייקטים לתהליכי עבודה של AI וניתוח נתונים:
מודלים נתמכים
כשיוצרים הגדרת תכונה, בוחרים את המודלים של למידת המכונה שהכי מתאימים לנתונים וליעדי הניתוח. מערכת Cloud Storage מעריכה אובייקטים שעומדים בדרישות באמצעות המודלים שנבחרו, ויוצרת מטא-נתונים מובְנים ב-contexts.custom.
בטבלת המודלים הנתמכים מפורטים כל מודל, מה הוא מזהה ונתוני פלט לדוגמה. במאמר מודלים וסכימות נתמכים מפורטות הגדרות הסכימה ומפתחות ההקשר.
| דגם | תיאור | נתוני פלט לדוגמה |
|---|---|---|
| זיהוי אובייקטים | זיהוי של כמה אובייקטים בתמונה וקבלת המיקומים והגבולות המלבניים שלהם. | מוצר, בעל חיים, אדם |
| תיוג תמונות | זיהוי וחילוץ מידע על ישויות בתמונה בקבוצה רחבה של קטגוריות, כמו אובייקטים, מיקומים ופעילויות. | נוף, עירוני, לילה |
| איתור פנים | זיהוי פנים בתמונות, כולל מצולעים תוחמים, תווי פנים (עיניים, אף, פה), זוויות כיוון וסבירות להבעות פנים. | מספר הפנים, זווית הסיבוב וההטיה |
| זיהוי תוכן בוטה | הוא בודק אם יש בתמונות תוכן רגיש או בלתי הולם, כולל תוכן למבוגרים בלבד או תוכן אלים. | דירוגי סבירות לתוכן אלים ולמבוגרים בלבד |
| סיווג קובצי PDF | מסווג מסמכי PDF לקטגוריות עסקיות וקטגוריות ענף סטנדרטיות על סמך התוכן שלהם. | פיננסים, מיסים, חשבוניות (קטגוריות וציונים) |
תרחישים לדוגמה
אתם יכולים להשתמש בהעשרת אובייקטים כדי לייעל את הניהול של נתונים לא מובְנים, ולהכין אובייקטים לתהליכי העבודה הבאים של ניתוח נתונים ו-AI:
- ארגון וקטלוג של אובייקטים לא מאורגנים: סיווג אוטומטי של אוספי מסמכי PDF (כמו חשבוניות, דפי חשבון בנק וטופסי מס) ותמונות. אתם יכולים להשתמש בסיווגים האלה כדי ליצור קטלוגים של נתונים שניתן לחפש בהם בקטגוריות, בלי לכתוב קוד בהתאמה אישית.
- התאמת סוכני AI לקרקע ושיפור החיפוש: הפיכת מאגרי מסמכים לא מאורגנים למאגרי ידע מובְנים. אתם יכולים להשתמש בקטגוריות של מסמכים ובתוויות של תמונות כדי לשפר את השליפה במהלך יצירת נתונים באמצעות שיטת RAG, ולבסס את האפליקציות שלכם ל-AI גנרטיבי.
- דגימה והכנת נתונים ל-AI גנרטיבי: הבחנה בין סוגי מסמכים כדי לבצע דגימה לפי קבוצות באוכלוסיה לפני ניתוב התוכן למודלים גדולים של שפה (LLM) או לבדיקה אנושית.
- לאסוף קבוצות נתונים לאימון של למידת מכונה: לסנן ולפלח תמונות ומסמכים לפי טקסונומיה או תוויות חזותיות, כדי לאסוף קבוצות נתונים לאימון ספציפיות לדומיין לצורך כוונון מודלים.
- סריקה לאיתור תוכן רגיש או בוטה: בדיקה אוטומטית של תמונות שהועלו כדי לאתר חומר בלתי הולם, כחלק ממדיניות ניהול התוכן והבטיחות.
- שיפור פרומפטים מולטי-מודאליים: העברת מטא-נתונים מובְנים, כמו תיבות תוחמות וקטגוריות של מסמכים, כהקשר כשמנחים מודלים מולטי-מודאליים כמו Gemini.
- לפשט את ארכיטקטורת הנתונים: אתם יכולים ליצור מטא-נתונים ישירות ב-Cloud Storage, וכך להימנע מהצורך בצינורות עיבוד נתונים מותאמים אישית ובתשתית מחשוב.
שליחת שאילתות וניתוח המטא-נתונים
העשרת האובייקטים ב-Cloud Storage מצורפת ישירות לאובייקטים בתור הקשרי אובייקטים. בהתאם להיקף ולתהליך העבודה, אתם יכולים לגשת למטא-נתונים האלה ולנתח אותם בדרכים הבאות:
- בדיקת אובייקטים ספציפיים: אפשר להשתמש במסוף Google Cloud או בממשקי ה-API של Cloud Storage כדי לבדוק את ההעשרות של אובייקטים ספציפיים. איך מנהלים את העשרת האובייקטים
- ניתוח בקנה מידה נרחב באמצעות SQL: אתם יכולים להשתמש במערכי נתונים של Storage Insights כדי לייצא מטא-נתונים של מיליוני או מיליארדי אובייקטים ישירות ל-BigQuery. אחרי שתובנות האחסון מייצאות את המטא-נתונים, אתם יכולים לשלוח שאילתות לתצוגה
object_contexts_catalog_viewבאמצעות SQL סטנדרטי. לדוגמה, אתם יכולים לחפש תוויות, לסנן לפי קטגוריה או למצוא אובייקטים עם ציוני סמך גבוהים.
כדי להתחיל לעבוד עם שאילתות SQL ומתכונים לדוגמה, קראו את המאמר ניתוח העשרת אובייקטים ב-BigQuery.
שיקולים ומגבלות
לפני שמגדירים העשרת אובייקטים, כדאי לקרוא את השיקולים התפעוליים הבאים:
מיקום העיבוד
העשרת אובייקטים מעבדת נתונים בשלושה מיקומים גיאוגרפיים: us, eu ו-asia. כשבוחרים מיקום לעיבוד, חשוב לזכור את הדברים הבאים:
- תאימות: חשוב לוודא שמיקום העיבוד שבחרתם עומד בדרישות הרגולטוריות ובדרישות של ריבונות הנתונים.
- ביצועים: בוחרים את מיקום העיבוד שהכי קרוב לאזור האחסון של הקטגוריה.
- עלות: כדי להימנע מחיובים כפולים, הגדירו רק מיקום עיבוד אחד לכל קטגוריה ומודל. אם תגדירו כמה מיקומים לאותה קטגוריה ולאותו מודל, Cloud Storage יעבד את האובייקטים בכל מיקום ויחייב אתכם על כל הפעלה.
עיבוד וביצועים
חשוב לבדוק את המגבלות הבאות על סוגי התוכן, גודלי האובייקטים ולוחות הזמנים לעיבוד:
עיבוד אסינכרוני: Cloud Storage מעבד אובייקטים באופן אסינכרוני.
מגבלת גודל האובייקט: האובייקטים (גם תמונות וגם קובצי PDF) צריכים להיות בגודל של עד 20MiB.
סוגי תוכן נתמכים: מערכת Cloud Storage משתמשת בשדה המטא-נתונים
Content-Typeשמוגדר באובייקט כדי לקבוע אם להעריך אותו. אם לאובייקט יש ערךContent-Typeחסר או לא תקין, Cloud Storage לא מעבד את האובייקט גם אם הנתונים הבסיסיים הם תמונה או קובץ PDF תקינים. כדי לוודא ש-Cloud Storage יעבד את האובייקט, צריך לעדכן את המטא-נתונים שלContent-Typeלאחד מהסוגים הנתמכים הבאים:- תמונות: BMP, GIF, ICO, JPEG, PNG, TIFF ו-WEBP.
- מסמכים: PDF (
application/pdf).
תכונות שלא נתמכות
התכונה "העשרת אובייקטים" לא תואמת לסוגי הקטגוריות והפעולות הבאים:
- העברת קטגוריות למיקום גיאוגרפי אחר: העשרת אובייקטים לא תואמת להעברת קטגוריות למיקום גיאוגרפי אחר. לפני שמעבירים את הקטגוריה, צריך להסיר אותה מהגדרות התכונות.
- סוגי קטגוריות לא נתמכים: אי אפשר להפעיל העשרת אובייקטים בקטגוריות Rapid או בקטגוריות שמופעל בהן מרחב שמות היררכי.
ניהול הגדרות והיקף
כשמגדירים ומנהלים קטגוריות יעד בהגדרות של התכונות, צריך לעמוד בדרישות הבאות:
- היקף הקטגוריה: מציינים את השמות המדויקים של הקטגוריות בהגדרת התכונה. Cloud Storage לא תומך בביטויים רגולריים או בתבניות של תווים כלליים לחיפוש.
- מחזור החיים של הקטגוריה: Cloud Storage לא מוסיף באופן אוטומטי קטגוריות חדשות שנוצרו, נוצרו מחדש או הועברו להגדרות קיימות. צריך לעדכן את הגדרת התכונה כך שתכלול את הקטגוריות האלה.
עלויות ואבטחה
כדאי לעיין בפרטים התפעוליים הבאים לגבי מפתחות הצפנה וחיובים על גישה לנתונים:
- מפתחות באספקת הלקוח (CSEK): אי אפשר להעשיר אובייקטים שמוצפנים באמצעות מפתחות הצפנה באספקת הלקוח.
- גישה לאחסון ו-Autoclass: כדי ליצור מטא-נתונים, התכונה "העשרת אובייקטים" קוראת את נתוני האובייקטים. פעולות הקריאה האלה כרוכות בחיובים רגילים על גישה לנתונים. בנוסף, אם בקטגוריה מופעל סיווג אוטומטי, פעולות הקריאה האלה מפעילות מעברים בין סוגי אחסון.
תמחור
השימוש בהעשרת אובייקטים כרוך בחיובים על הסקת מודלים, אחסון מטא-נתונים, פעולות גישה לנתונים ורשתות. למידע נוסף, ראו תמחור.
מעקב ופתרון בעיות
כדי לעקוב אחרי ההתקדמות של יצירת המטא-נתונים ולפתור בעיות בהגדרת העשרת האובייקטים, אתם יכולים להשתמש במקורות המידע הבאים:
- מעקב אחרי פעולות: כדי לעקוב אחרי אובייקטים בהמתנה, מספר הפעמים שהמודל הופעל וסטטוס העיבוד ב-Cloud Monitoring, קראו את המאמר מעקב אחרי מדדי העשרת אובייקטים.
- פתרון בעיות: אם חסרות העשרות או שנתקלתם בשגיאות שקשורות להרשאות, עיינו במאמר פתרון בעיות בהעשרת אובייקטים.