יצירה וניהול של מאגרים
מאגרי BigQuery מאפשרים לכם לנהל את הגרסאות של קובצי הקוד ולשתף פעולה עם הצוות שלכם. אתם יכולים ליצור, לשתף ולמחוק מאגרים ב-BigQuery, או לחבר אותם למאגר Git של צד שלישי.
כדי לנהל גרסאות לפי תיקיות, מומלץ להשתמש במאגרי Git ב-BigQuery Studio (גרסת טרום-השקה (Preview)). השילוב הזה מאפשר לכם לעבוד עם הסתעפויות של Git ישירות בדפדפן הקבצים של BigQuery Studio, ולשכפל כמה מאגרים בבת אחת בלי לנהל סביבות עבודה נפרדות.
לפני שמתחילים
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the BigQuery and Dataform APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות לעבודה עם מאגרים וסביבות עבודה, אתם צריכים לבקש מהאדמין לתת לכם את התפקידים הבאים ב-IAM במאגרים ובסביבות העבודה:
-
ליצור ולנהל מאגרים משותפים:
בעלי הקוד (
roles/dataform.codeOwner) -
יצירה ומחיקה של סביבות עבודה במאגרים משותפים:
עורך קוד (
roles/dataform.codeEditor) -
ליצור, לשנות ולנהל גרסאות של קבצים בסביבות עבודה במאגרים משותפים:
עורך קוד (
roles/dataform.codeEditor) -
צפייה בסביבות העבודה ובקבצים שלהן במאגרים משותפים:
צפייה בקוד (
roles/dataform.codeViewer) -
יצירה וניהול של מאגרים פרטיים, כולל כל הפעולות בסביבות העבודה ובקבצים במאגר הפרטי:
יוצר קוד (
roles/dataform.codeCreator)
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
חשבונות משתמשים עם התפקיד "עריכת קוד" במאגר יכולים לערוך את כל סביבות העבודה במאגר.
מאגרים פרטיים שאתם יוצרים עדיין גלויים לחשבונות משתמשים שקיבלו את התפקידים "אדמין ב-BigQuery" או "אדמין ב-BigQuery Studio" ברמת הפרויקט. חשבונות המשתמשים האלה יכולים לשתף את המאגר הפרטי שלכם עם משתמשים אחרים.
שיקולי אבטחה למאגרים
נכסי הקוד ב-BigQuery מופעלים על ידי Dataform, לכן חשוב להביא בחשבון את ההשלכות הבאות על האבטחה של משתמשים שיש להם גישה לנכסים האלה:
- ההרשאות של Dataform ברמת הפרויקט קובעות את הרשאות הגישה לנכסי הקוד. משתמשים עם ההרשאה
dataform.repositories.list– שכלולה בתפקידים רגילים ב-BigQuery כמו משתמש במשימה ב-BigQuery, משתמש ב-BigQuery Studio ומשתמש ב-BigQuery – יכולים לראות את כל נכסי הקוד בחלונית Explorer בפרויקט Google Cloud , גם אם הם לא יצרו את הנכסים האלה או שהנכסים האלה לא שותפו איתם. כדי להגביל את החשיפה, אתם יכולים ליצור תפקידים בהתאמה אישית שלא כוללים את ההרשאהdataform.repositories.list. - משתמשים שיכולים לערוך את הנכסים האלה יכולים לגשת לכל הסודות ששותפו עם סוכן השירות של Dataform. כדי לאבטח את פרטי הכניסה, הגבילו את הגישה ליצירה ולעריכה למשתמשים מהימנים, והגבילו את הגישה של סוכן השירות של Dataform לסודות. מידע נוסף זמין במאמר גישה לסודות במהלך התקנת חבילות.
מידע נוסף זמין במאמר שיקולי אבטחה לגבי הרשאות ב-Dataform.
יצירת מאגר
כדי ליצור מאגר ב-BigQuery:
נכנסים לדף BigQuery במסוף Google Cloud .
בחלונית השמאלית, לוחצים על Source control.
אם החלונית השמאלית לא מוצגת, לוחצים על Expand left pane כדי לפתוח אותה.
לוחצים על Add Repository.
בחלונית Create repository, בשדה Repository ID, מקלידים מזהה ייחודי.
המזהים יכולים לכלול רק מספרים, אותיות, מקפים וקווים תחתונים.
ברשימה הנפתחת Region, בוחרים אזור ב-BigQuery שבו רוצים לאחסן את המאגר ואת התוכן שלו. בוחרים את האזור ב-BigQuery שהכי קרוב למיקום שלכם.
במאמר מיקומים של BigQuery Studio מפורטים האזורים הזמינים ב-BigQuery. האזור של המאגר לא חייב להיות זהה למיקום של מערכי הנתונים ב-BigQuery.
לוחצים על יצירה.
חיבור למאגר של צד שלישי
בקטע הזה מוסבר איך לקשר מאגר של BigQuery למאגר מרוחק. אחרי שמקשרים את המאגרים, אפשר לבצע פעולות Git בקבצים שבסביבות העבודה שכלולות במאגר. לדוגמה, שליפת עדכונים מהמאגר המרוחק ודחיפת שינויים למאגר המרוחק.
מומלץ ליצור מאגר BigQuery ייעודי לכל מאגר מרוחק שאתם מתחברים אליו. כדי שהמיפוי יהיה ברור, תנו למאגר ב-BigQuery שם דומה לזה של המאגר המרוחק.
אפשר לקשר מאגר מרוחק באמצעות HTTPS או SSH. אם המאגר המרוחק לא פתוח לאינטרנט הציבורי, למשל אם הוא נמצא מאחורי חומת אש, יכול להיות שלא תצליחו לקשר מאגר BigQuery למאגר מרוחק. בטבלה הבאה מפורטים ספקי Git נתמכים ושיטות החיבור שזמינות למאגרים שלהם:
| ספק Git | שיטת החיבור |
|---|---|
| Azure DevOps Services | SSH |
| Bitbucket | SSH |
| GitHub | SSH או HTTPS |
| GitLab | SSH או HTTPS |
חיבור מאגר מרוחק באמצעות SSH
כדי לחבר מאגר מרוחק באמצעות SSH, צריך ליצור מפתח SSH וסוד ב-Secret Manager. מפתח ה-SSH מורכב ממפתח SSH ציבורי וממפתח SSH פרטי. אתם צריכים לשתף את מפתח ה-SSH הציבורי עם ספק ה-Git שלכם, וליצור סוד ב-Secret Manager עם מפתח ה-SSH הפרטי. אחר כך משתפים את הסוד עם סוכן השירות של Dataform.
BigQuery משתמש בסוד עם מפתח ה-SSH הפרטי כדי להיכנס לספק Git ולשמור שינויים בשם המשתמשים. BigQuery מבצע את השינויים האלה באמצעות כתובת האימייל של המשתמש ב- Google Cloud , כדי שתוכלו לדעת מי ביצע כל שינוי.
כדי לקשר מאגר מרוחק למאגר BigQuery באמצעות SSH:
בספק Git, מבצעים את הפעולות הבאות:
Azure DevOps Services
- ב-Azure DevOps Services, יוצרים מפתח SSH פרטי.
- מעלים את מפתח ה-SSH הציבורי למאגר של Azure DevOps Services.
Bitbucket
- ב-Bitbucket, יוצרים מפתח SSH פרטי.
- מעלים את מפתח ה-SSH הציבורי למאגר ב-Bitbucket.
GitHub
- ב-GitHub, בודקים אם יש מפתחות SSH קיימים.
- אם אין לכם מפתחות SSH קיימים, או שאתם רוצים להשתמש במפתח חדש, צרו מפתח SSH פרטי.
- מעלים את מפתח ה-SSH הציבורי של GitHub למאגר ב-GitHub.
GitLab
- ב-GitLab, יוצרים מפתח SSH פרטי.
- מעלים את מפתח ה-SSH הציבורי של GitLab למאגר GitLab.
ב-Secret Manager, יוצרים סוד ומדביקים את מפתח ה-SSH הפרטי בתור הערך של הסוד. מפתח ה-SSH הפרטי צריך להיות מאוחסן בקובץ שדומה ל-
~/.ssh/id_ed25519. נותנים שם לסוד כדי שתוכלו למצוא אותו בעתיד.נותנים לסוכן השירות של Dataform גישה לסוד.
המזהה של סוכן השירות של Dataform הוא בפורמט הבא:
service-PROJECT_NUMBER@gcp-sa-dataform.מקצים לחשבון השירות את התפקיד
roles/secretmanager.secretAccessor.נכנסים לדף BigQuery במסוף Google Cloud .
בחלונית השמאלית, לוחצים על Source control.
אם החלונית השמאלית לא מוצגת, לוחצים על Expand left pane כדי לפתוח אותה.
בוחרים את המאגר ב-BigQuery שרוצים לקשר למאגר המרוחק.
בעורך, בוחרים בכרטיסייה Configuration (הגדרה).
לוחצים על Connect with Git.
בחלונית Connect to remote repository, לוחצים על כפתור הבחירה SSH.
בשדה Remote Git repository URL, מקלידים את כתובת ה-URL של מאגר Git המרוחק, שמסתיימת ב-
.git.כתובת ה-URL של מאגר Git המרוחק צריכה להיות באחד מהפורמטים הבאים:
- כתובת URL אבסולוטית:
ssh://git@{host_name}[:{port}]/{repository_path},portהיא אופציונלית. - כתובת URL דמוית SCP:
git@{host_name}:{repository_path}.
- כתובת URL אבסולוטית:
בשדה Default remote branch name, מקלידים את השם של הענף הראשי של מאגר Git המרוחק.
בתפריט הנפתח Secret, בוחרים את הסוד שיצרתם שמכיל את המפתח הפרטי של SSH.
בשדה SSH public host key value, מקלידים את המפתח הציבורי של המארח של ספק Git.
Azure DevOps Services
כדי לאחזר את מפתח המארח הציבורי של Azure DevOps Services, מריצים את הפקודה הבאה במסוף:
ssh-keyscan -t rsa ssh.dev.azure.comמעתיקים את אחד מהמפתחות שנוצרו, בלי
ssh.dev.azure.comמתחילת השורה. הערך שמעתיקים צריך להיות בפורמט הבא:ALGORITHM BASE64_KEY_VALUEלדוגמה:
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC7Hr1oTWqNqOlzGJOfGJ4NakVyIzf1rXYd4d7wo6jBlkLvCA4odBlL0mDUyZ0/QUfTTqeu+tm22gOsv+VrVTMk6vwRU75gY/y9ut5Mb3bR5BV58dKXyq9A9UeB5Cakehn5Zgm6x1mKoVyf+FFn26iYqXJRgzIZZcZ5V6hrE0Qg39kZm4az48o0AUbf6Sp4SLdvnuMa2sVNwHBboS7EJkm57XQPVU3/QpyNLHbWDdzwtrlS+ez30S3AdYhLKEOxAG8weOnyrtLJAUen9mTkol8oII1edf7mWWbWVf0nBmly21+nZcmCTISQBtdcyPaEno7fFQMDD26/s0lfKob4Kw8Hצריך לוודא שהמפתח הזה עדיין מעודכן ב-Azure DevOps Services.
Bitbucket
כדי לאחזר את מפתח המארח הציבורי של Bitbucket, מריצים את הפקודה הבאה במסוף:
curl https://bitbucket.org/site/sshהפקודה מחזירה רשימה של מפתחות מארח ציבוריים. בוחרים אחד מהמפתחות ברשימה ומעתיקים אותו, בלי
bitbucket.orgבתחילת השורה. הערך שמעתיקים צריך להיות בפורמט הבא:ALGORITHM BASE64_KEY_VALUEלדוגמה:
ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIIazEu89wgQZ4bqs3d63QSMzYVa0MuJ2e2gKTKqu+UUOצריך לוודא שהמפתח הזה עדיין מעודכן ב-Bitbucket.
GitHub
- כדי לאחזר את המפתח הציבורי של המארח ב-GitHub, עיינו במאמר טביעות האצבע של מפתח ה-SSH ב-GitHub.
הדף מכיל רשימה של מפתחות מארח ציבוריים. בוחרים אחת מהן ומעתיקים אותה, בלי
github.comבתחילת השורה. הערך שמעתיקים צריך להיות בפורמט הבא:ALGORITHM BASE64_KEY_VALUEלדוגמה:
ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIOMqqnkVzrm0SdG6UOoqKLsabgH5C9okWi0dh2l9GKJlצריך לוודא שהמפתח הזה עדיין מעודכן ב-GitHub.
GitLab
- כדי לאחזר את המפתח הציבורי של המארח ב-GitLab, עיינו בקטע רשומות SSH
known_hosts. הדף מכיל רשימה של מפתחות מארח ציבוריים. בוחרים אחת מהן ומעתיקים אותה, בלי
gitlab.comבתחילת השורה. הערך שמעתיקים צריך להיות בפורמט הבא:ALGORITHM BASE64_KEY_VALUEלדוגמה:
ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIAfuCHKVTjquxvt6CM6tdG4SLp1Btn/nOeHHE5UOzRdfצריך לוודא שהמפתח הזה עדיין מעודכן ב-GitLab.
לוחצים על Connect.
חיבור מאגר מרוחק באמצעות HTTPS
כדי לקשר מאגר מרוחק באמצעות HTTPS, צריך ליצור סוד ב-Secret Manager עם אסימון גישה אישי, ולשתף את הסוד עם סוכן השירות של Dataform.
לאחר מכן, BigQuery משתמש בטוקן הגישה כדי להיכנס לספק Git ולבצע שינויים בשם המשתמשים. BigQuery מבצע את השינויים האלה באמצעות כתובת האימייל של המשתמש ב- Google Cloud , כדי שתוכלו לדעת מי ביצע כל שינוי.
כדי לקשר מאגר מרוחק למאגר ב-BigQuery באמצעות HTTPS:
בספק Git, מבצעים את הפעולות הבאות:
GitHub
ב-GitHub, יוצרים טוקן גישה אישי מפורט או טוקן גישה אישי קלאסי.
- כדי ליצור טוקן גישה אישי מפורט ב-GitHub:
בוחרים באפשרות Only select repositories ואז בוחרים את המאגר שאליו רוצים להתחבר.
לתת גישת קריאה וכתיבה לתוכן של המאגר.
מגדירים את זמן התפוגה של הטוקן בהתאם לצרכים שלכם.
- כדי ליצור טוקן גישה אישי קלאסי ב-GitHub:
נותנים ל-BigQuery את ההרשאה
repo.מגדירים את זמן התפוגה של הטוקן בהתאם לצרכים שלכם.
אם בארגון שלכם משתמשים בכניסה יחידה (SSO) ב-SAML, צריך לאשר את האסימון.
GitLab
ב-GitLab, יוצרים טוקן גישה אישי של GitLab.
נותנים לטוקן את השם
dataform. זהו שדה חובה.נותנים ל-BigQuery את ההרשאות
api,read_repositoryו-write_repository.מגדירים זמן תפוגה לאסימון שמתאים לצרכים שלכם.
ב-Secret Manager, יוצרים סוד שמכיל את טוקן הגישה האישי של המאגר המרוחק.
נותנים לסוכן השירות של Dataform גישה לסוד.
המזהה של סוכן השירות של Dataform הוא בפורמט הבא:
service-PROJECT_NUMBER@gcp-sa-dataform.מקצים לחשבון השירות את התפקיד
roles/secretmanager.secretAccessor.נכנסים לדף BigQuery במסוף Google Cloud .
בחלונית השמאלית, לוחצים על Source control.
אם החלונית השמאלית לא מוצגת, לוחצים על Expand left pane כדי לפתוח אותה.
בוחרים את המאגר ב-BigQuery שרוצים לקשר למאגר המרוחק.
בעורך, בוחרים בכרטיסייה Configuration (הגדרה).
לוחצים על Connect with Git.
בחלונית Connect to remote repository, לוחצים על כפתור הבחירה HTTPS.
בשדה Remote Git repository URL, מקלידים את כתובת ה-URL של מאגר Git המרוחק, שמסתיימת ב-
.git.כתובת ה-URL של מאגר Git המרוחק לא יכולה להכיל שמות משתמשים או סיסמאות.
בשדה Default remote branch name, מקלידים את השם של הענף הראשי של מאגר Git המרוחק.
בתפריט הנפתח Secret, בוחרים את הסוד שיצרתם שמכיל את טוקן הגישה האישי.
לוחצים על Connect.
עריכת החיבור למאגר המרוחק
כדי לערוך קישור בין מאגר ב-BigQuery למאגר Git מרוחק:
נכנסים לדף BigQuery במסוף Google Cloud .
בחלונית השמאלית, לוחצים על Source control.
אם החלונית השמאלית לא מוצגת, לוחצים על Expand left pane כדי לפתוח אותה.
בוחרים את מאגר BigQuery שרוצים לערוך את החיבור שלו.
בעורך, בוחרים בכרטיסייה Configuration (הגדרה).
בדף המאגר, לוחצים על Edit Git connection.
עורכים את הגדרות החיבור.
לוחצים על עדכון.
שיתוף מאגר
כדי לשתף מאגר, פועלים לפי השלבים הבאים:
נכנסים לדף BigQuery במסוף Google Cloud .
בחלונית השמאלית, לוחצים על Source control.
אם החלונית השמאלית לא מוצגת, לוחצים על Expand left pane כדי לפתוח אותה.
מוצאים את המאגר שרוצים לשתף.
לוחצים על פתיחת הפעולות ואז על שיתוף.
בחלונית הרשאת שיתוף, לוחצים על Add User/Group.
בחלונית Add User/Group, בשדה New Principals, מקלידים שם אחד או יותר של משתמשים או קבוצות, מופרדים בפסיקים.
בשדה Role, בוחרים את התפקיד שרוצים להקצות לחשבונות המשתמשים החדשים.
לוחצים על Save.
מחיקת מאגר
כדי למחוק מאגר ואת כל התוכן שלו:
נכנסים לדף BigQuery במסוף Google Cloud .
בחלונית השמאלית, לוחצים על Source control.
אם החלונית השמאלית לא מוצגת, לוחצים על Expand left pane כדי לפתוח אותה.
מוצאים את המאגר שרוצים למחוק.
לוחצים על פתיחת הפעולות ואז על מחיקה.
לוחצים על Delete.