ניהול יחסי התלות של BigQuery API

כדי לנהל את ההתנהגות של BigQuery, חשוב להבין איך כל API משפיע על התכונות של Google Cloud שתלויות בממשקי ה-API האלה. חלק משירותי ה-API מופעלים כברירת מחדל בכל פרויקט ב- Google Cloud שאתם יוצרים, ואחרים מופעלים באופן אוטומטי בכל הפרויקטים ב- Google Cloud שמשתמשים ב-BigQuery. כדי להשתמש בפונקציונליות של שאר שירותי ה-API, צריך להפעיל אותם באופן מפורש.

השבתה שגויה של תלות יכולה להשפיע על הפונקציונליות של BigQuery. חשוב להבין את יחסי התלות האלה כדי לקבל החלטות מושכלות כשמפעילים או משביתים שירותים בפרויקט ב- Google Cloud .

שירותים שמופעלים כברירת מחדל

השירותים הבאים מופעלים כברירת מחדל בכל פרויקט חדש ב-Google Cloud :

Service	שם ה-API	אילו תכונות מסתמכות על ההגדרה הזו	מה קורה כשמשביתים את השירות הזה
BigQuery sharing	analyticshub.googleapis.com	פרסום של חילופי נתונים פרסום דפי אפליקציה וניהול מינויים חדרים נקיים לנתונים	אי אפשר ליצור או לנהל מאגרי נתונים, כרטיסי מוצר, חדרים נקיים לנתונים או מינויים. אתם לא יכולים לחפש ולעיין במאגרי נתונים או בפריטים שספקים אחרים יוצרים. המינויים שנוצרו נשמרים אבל אי אפשר לגשת אליהם. אפשר לגשת למערכי נתונים מקושרים כל עוד BigQuery API מופעל. אתם לא יכולים ליצור מינויים חדשים
BigQuery Connection API	bigqueryconnection.googleapis.com	שאילתות לכמה מסדי נתונים לנתונים שמאוחסנים מחוץ ל-BigQuery טבלאות וקבוצות נתונים חיצוניות מטא-נתונים של BigQuery	אתם לא יכולים לנהל חיבורים חיצוניים. אי אפשר ליצור מודלים מרוחקים. אי אפשר ליצור פונקציות מרוחקות. אי אפשר לשלוח שאילתות לטבלאות BigLake ולטבלאות אובייקטים.
BigQuery Migration Service	bigquerymigration.googleapis.com	הערכה של העברת נתונים תרגום שאילתות SQL	אי אפשר ליצור משימות או הערכות של העברה. משימות או הערכות קיימות לא זמינות. הערה: בדרך כלל אפשר להשבית את השירות הזה אחרי שמשלימים את העברת הנתונים.
מדיניות הנתונים של BigQuery	bigquerydatapolicy.googleapis.com	אנונימיזציה של נתונים	אתם לא יכולים לנהל את כללי המדיניות של הסתרת נתונים. כללי מדיניות של הסתרת נתונים לא נמחקים, אבל שאילתות לטבלאות שמוחלת עליהן הסתרת נתונים נכשלות.
שירות העברת נתונים ל-BigQuery	bigquerydatatransfer.googleapis.com	העברות נתונים מתוזמנות	אתם לא יכולים לנהל את העברות הנתונים המתוזמנות. העברות הנתונים הקיימות ייפסקו.
BigQuery Reservation API	bigqueryreservation.googleapis.com	ניהול עומסי עבודה לפי קיבולת	אתם לא יכולים ליצור או לנהל התחייבויות לקיבולת, הזמנות או הקצאות. אי אפשר לעקוב אחרי השימוש במשבצות. אי אפשר להפעיל את יתירות הכשל של תוכנית ההתאוששות מאסון (DR). ההתאמה האוטומטית של משבצות מפסיקה.
BigQuery Storage API	bigquerystorage.googleapis.com	הטמעת נתונים בסטרימינג טעינת נתונים באצווה סימון נתונים שהשתנו (CDC)	אי אפשר להשתמש ב-Storage Read API או ב-Storage Write API (gRPC) כדי לגשת לנתונים ב-BigQuery.
Dataform	dataform.googleapis.com	ב-Dataform יש מאגרי קוד שמשמשים את התכונות הבאות: צינורות עיבוד נתונים ב-BigQuery שאילתות שמורות נוטבוקים של Colab Dataform הכנת הנתונים קנבס נתונים	אי אפשר ליצור פייפליינים, שאילתות שמורות, מסמכי Notebook ב-Colab, קנבסי נתונים, הכנות של נתונים או פרויקטים ב-Dataform. צינורות עיבוד נתונים, קובצי Notebook או פרויקטים ב-Dataform שתוזמנו בעבר לא יפעלו. לא תהיה יותר גישה לפייפליינים, שאילתות שמורות, נוטבוקים של Colab, קנבסי נתונים, הכנות נתונים או פרויקטים ב-Dataform.
Knowledge Catalog	dataplex.googleapis.com	‫Knowledge Catalog מספק יכולות של קטלוג נתונים ומשילות שמשמשות את: ‫Resource Explorer ב-BigQuery Studio השלמה אוטומטית בכלי לעריכת SQL ב-BigQuery Studio חיפוש נתונים ב-BigQuery sharing (לשעבר Analytics Hub) תובנות לגבי הפרופיל סריקות של איכות הנתונים צפייה בשושלת נתונים תובנות לגבי טבלאות ומערכי נתונים קנבס נתונים	החיפוש של נכסי נתונים ב-BigQuery לא זמין. החיפוש של שיתוף דפי האפליקציה לא זמין. לא תהיה לך אפשרות ליצור תובנות חדשות לגבי הפרופיל, סריקות של איכות הנתונים או הצעות לשאילתות, או לגשת לתובנות, לסריקות או להצעות שכבר נוצרו. אי אפשר לראות את פרטי נכס הנתונים בתרשים ההשתלשלות. אי אפשר לחפש נכסי נתונים בקנבס הנתונים.

מה קורה כשמשביתים את BigQuery API

השבתת BigQuery API משביתה גם את השירותים הבאים שתלויים ב-BigQuery API:

• ‫Binary Authorization‏ (binaryauthorization.googleapis.com)
• ‫Google Kubernetes Engine ‏ (container.googleapis.com)
• Google Cloud ממשקי API (cloudapis.googleapis.com)
• ‫Dataprep by Trifacta‏ (dataprep.googleapis.com)
• ‫Open Service Broker ל-Google Cloud ‏ (servicebroker.googleapis.com)
• ‫Telecom Data Fabric (telecomdatafabric.googleapis.com)

שירותים שמופעלים על ידי BigQuery Unified API

‫BigQuery Unified API‏ (bigqueryunified.googleapis.com) כולל אוסף של שירותים שנדרשים כדי להפעיל תכונות שונות של BigQuery. אם מפעילים את BigQuery Unified API, כל השירותים האלה מופעלים בו-זמנית. ‫Google יכולה לעדכן את השירותים באוסף הזה, והשירותים האלה מופעלים באופן אוטומטי בפרויקטים שבהם ה-API הזה מופעל. אתם יכולים להשבית שירותים ספציפיים וממשקי API ספציפיים.

במאמר הפעלה והשבתה של שירותים מוסבר איך להפעיל את bigqueryunified.googleapis.com.

Service	שם ה-API	אילו תכונות מסתמכות על ההגדרה הזו	מה קורה כשמשביתים את השירות הזה
Vertex AI	aiplatform.googleapis.com	נוטבוקים של Colab מודלים מרוחקים של BigQuery ML	לא תוכלו להריץ את תיקיות ה-Notebook. כל המודלים המרוחקים הקיימים של BigQuery ML מפסיקים לפעול. עדיין תהיה לכם גישה לתיקיות ה-Notebook הקיימות שלכם ותוכלו לערוך אותן.
BigQuery Unified API	bigqueryunified.googleapis.com	מאפשר להפעיל בלחיצה אחת את השירותים שתלויים ב-BigQuery שמפורטים במסמך הזה, חוץ מממשקי ה-API של cloudaicompanion,‏ composer ו-datalineage. מוודא שיחסי התלות החדשים של BigQuery מופעלים בפרויקט.	יחסי תלות עתידיים לא מופעלים באופן אוטומטי בפרויקט.
Compute Engine	compute.googleapis.com	‫Google Compute Engine מספק סביבת זמן ריצה לכל התכונות של Managed Service for Apache Spark ו-Gemini Enterprise Agent Platform.	משימות של קובצי notebook של Colab, מודלים של למידת מכונה מרחוק, Apache Spark,‏ SparkSQL ו-PySpark נעצרות. קוד המקור נשאר זמין. ‫Dataproc API מושבת.
Managed Service for Apache Spark	dataproc.googleapis.com	שאילתות על נתונים באמצעות מנועי קוד פתוח כמו Apache Spark. שימוש ב-Spark SQL או ב-PySpark עם Managed Service for Apache Spark שימוש בתהליכים מאוחסנים ב-Spark	אי אפשר ליצור אשכולות של Managed Service for Apache Spark כדי להריץ ניתוח נתונים בקוד פתוח. אי אפשר להריץ עומסי עבודה של Managed Service for Apache Spark. אי אפשר להריץ את Spark בעומסי עבודה ב-BigQuery.
Datastream	datastream.googleapis.com	מספקת סימון נתונים שהשתנו (CDC) ורפליקציה ל-BigQuery.	כל מקורות הנתונים מושהים ואי אפשר לגשת אליהם.

שירותים שמושבתים כברירת מחדל

כדי שהיכולות המתאימות יהיו זמינות, צריך להפעיל ידנית את השירותים הבאים:

Service	שם ה-API	אילו תכונות מסתמכות על ההגדרה הזו	מה קורה כשמשביתים את השירות הזה
Gemini for Google Cloud API	cloudaicompanion.googleapis.com	התכונות של Gemini ב-BigQuery	התכונות של השלמת קוד, יצירת קוד והסבר על קוד מפסיקות לפעול. איך משביתים את Gemini ב-BigQuery
Managed Service for Apache Airflow	composer.googleapis.com	תזמון עומסי עבודה	‫DAG קיימים של Managed Service for Apache Airflow לא מופיעים בדף Scheduling ומפסיקים לפעול. סביבות Managed Airflow קיימות מפסיקות לפעול ומחזירות מצב שגיאה.
Data Lineage API	datalineage.googleapis.com	תיעוד וצפייה בשושלת נתונים	שושלת הנתונים לא מתועדת בפרויקט. אי אפשר לראות את תרשים השושלת.

הפעלה ידנית של נכסי קוד ב-BigQuery

כדי לנהל נכסי קוד ב-BigQuery, כמו מסמכי Notebook ושאילתות שמורות, צריך להפעיל את ממשקי ה-API הבאים:

• Compute Engine API
• Dataform API
• ‫Vertex AI API

לפני מרץ 2024, ממשקי ה-API האלה לא הופעלו באופן אוטומטי כברירת מחדל. אם יש לכם סקריפטים של אוטומציה מלפני מרץ 2024 שהיו תלויים בסטטוס של ממשקי ה-API האלה, יכול להיות שתצטרכו לעדכן אותם. אם ממשקי ה-API האלה כבר מופעלים, בחלונית Explorer ב-BigQuery יופיעו תיקיות חדשות של Notebooks ו-Queries.

לפני שמתחילים

כדי להפעיל ידנית את ניהול נכסי הקוד, צריך להיות לכם תפקיד בעלים (roles/owner) בממשק לניהול זהויות והרשאות גישה (IAM).

הפעלה ידנית של נכסי קוד ב-BigQuery

כדי להפעיל את יחסי התלות הנדרשים של ה-API לנכסי קוד, פועלים לפי השלבים הבאים:

1. נכנסים לדף BigQuery.

   כניסה ל-BigQuery

2. ב-Studio, בסרגל הכרטיסיות של חלונית העריכה, לוחצים על החץ למטה לצד סימן הפלוס +, מציבים את הסמן מעל Notebook ולוחצים על Empty notebook.

3. לוחצים על הפעלת ממשקי API.

   אם האפשרות הזו לא מופיעה, בודקים אם יש לכם את תפקיד הבעלים הנדרש ב-IAM‏ (roles/owner). אם נפתח notebook ריק, סימן שכבר הפעלתם את ממשקי ה-API הנדרשים.

4. בקטע Core feature APIs שבחלונית Enable core features:

   1. כדי להפעיל את כל יחסי התלות של BigQuery להזרמת נתונים, לתזמון ול-notebooks, לוחצים על Enable ליד BigQuery Unified API.
   2. אופציונלי: כדי לבחור אילו ממשקי API להפעיל, לוחצים על View and enable individual APIs ואז על Enable ליד כל API שרוצים להפעיל.
   3. אחרי שמפעילים את ממשקי ה-API, לוחצים על הבא.

5. אופציונלי: מגדירים הרשאות משתמש בקטע הרשאות:

   • כדי לתת לחשבונות ראשיים את היכולת ליצור נכסי קוד, ולקרוא, לערוך ולהגדיר הרשאות לנכסי הקוד שהם יצרו, מקלידים את שמות המשתמשים או הקבוצות שלהם בשדה BigQuery Studio User.
   • כדי לתת לחשבונות ראשיים את היכולת לקרוא, לערוך ולהגדיר הרשאות לכל נכסי הקוד ששותפו איתם, מקלידים את שמות המשתמשים או הקבוצות שלהם בשדה אדמין של BigQuery Studio.

6. לוחצים על הבא.

7. אופציונלי: בקטע Additional APIs, לוחצים על Enable all כדי להפעיל את ממשקי ה-API שנדרשים ליצירת פרוצדורות מרוחקות של BigQuery באמצעות BigQuery DataFrames.

8. אם בחרתם לא להפעיל את ממשקי ה-API הנוספים, לחצו על Close כדי לסגור את החלונית Enable core features.

הגבלת הגישה לנכסי קוד

כדי למנוע הפעלה של ממשקי API נוספים, אפשר להגדיר את אילוץ המדיניות של הארגון "הגבלת השימוש בשירותי המשאבים". אתם יכולים להשבית ממשקי API נבחרים בכל שלב.

מה השלב הבא?

• במאמר הפעלה והשבתה של שירותים מוסבר איך לנהל את השירותים של Google Cloud .
• במאמר הגבלת השימוש במשאבים מוסבר איך לנהל את הגישה ל-API ברמה פרטנית באמצעות אילוצים של מדיניות הארגון.
• במאמר תפקידים והרשאות של IAM ב-BigQuery מוסבר איך לקבוע את הגישה לשירותים באמצעות תפקידים והרשאות של ניהול זהויות והרשאות גישה (IAM) ב-BigQuery.