‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

שימוש בממשקי API של Datastream

Datastream

באמצעות Datastream API בארכיטקטורת REST, אתם יכולים לשכפל באופן פרוגרמטי נתוני שינויים ממקורות מקומיים וממקורות בענן ליעדים ב- Google Cloud , לצורך ניתוח נתונים כמעט בזמן אמת. במדריך הזה תיצרו פרופילי חיבור וסטרימינג כדי לשכפל סכימות, טבלאות ונתונים של Oracle לקטגוריה של Cloud Storage. במהלך השכפול, Datastream ממיר את הרשומות של המקור לקובצי Avro עם סכימת JSON, כדי שאפליקציות במורד הזרם יוכלו לקרוא נתונים באופן אחיד ממקורות שונים.

מטרות

במדריך הזה תלמדו איך:

מגדירים את משתני הסביבה. תשתמשו במשתנים האלה כשתשלחו בקשות ל-Datastream כדי ליצור ולנהל פרופילי חיבור וסטרים.
יצירה וניהול של פרופילי חיבור למסד נתונים של מקור ולקטגוריית יעד ב-Cloud Storage. כשיוצרים את פרופילי החיבור האלה, יוצרים רשומות שמכילות מידע על מסד הנתונים של המקור ועל קטגוריה של Cloud Storage. ה-stream ב-Datastream משתמש במידע שבפרופילי החיבור כדי להעביר נתונים ממסד הנתונים של המקור לתיקייה בקטגוריית היעד.
יצירה וניהול של שידור. ‫Datastream משתמש בסטרים הזה כדי להעביר נתונים, סכימות וטבלאות ממסד הנתונים של המקור לתיקייה בקטגוריית היעד.
מוודאים ש-Datastream מעביר את הנתונים והטבלאות שמשויכים לסכימה של מסד הנתונים של Oracle במקור לתיקייה בקטגוריית היעד, ומתרגם את הנתונים האלה לפורמט הקובץ Avro.
חשוב להסיר את המשאבים שיצרתם ב-Datastream כדי שלא יתפסו מקום במכסה ולא תחויבו עליהם בעתיד.

עלויות

במסמך הזה משתמשים ברכיבים הבאים של Google Cloud, והשימוש בהם כרוך בתשלום:

Cloud Storage

בעזרת מחשבון העלויות אתם יכולים להעריך את העלויות בהתאם לשימוש הצפוי.

משתמשים חדשים של Google Cloud ? יכול להיות שאתם זכאים לתקופת ניסיון בחינם.

לפני שמתחילים

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
- Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector
Verify that billing is enabled for your Google Cloud project.
מפעילים את Datastream API.
הפעלת ה-API
מוודאים שלחשבון המשתמש שלכם הוקצה התפקיד "אדמין ב-Datastream".
כניסה לדף IAM
מוודאים שיש לכם מסד נתונים של מקור ש-Datastream יכול לגשת אליו. במדריך הזה, מסד נתונים של Oracle משמש כמקור.
מגדירים את מסד הנתונים של המקור כך שיאפשר חיבורים נכנסים מכתובות ה-IP הציבוריות של Datastream. במאמר רשימות היתרים של כתובות IP ואזורים מוסבר איך לגשת למיקומים של כל האזורים של Datastream וכתובות ה-IP הציבוריות שמשויכות אליהם.
ודאו שהגדרתם קטגוריה של Cloud Storage ש-Datastream יכול לגשת אליה באמצעות שיטת הקישוריות לרשת: רשימת היתרים של כתובות IP, מנהרת SSH להעברה או קישור VPC.
חשוב לוודא שיש לכם נתונים, טבלאות וסכימות במסד הנתונים של המקור, ש-Datastream יכול להעביר לתיקייה בקטגוריה של Cloud Storage ביעד.
מורידים ומתקינים את Cloud Shell. אפליקציית הלקוח הזו נותנת לכם גישה למשאבים שלכם בענן (כולל Datastream) בממשק שורת פקודה.
מתקינים ומגדירים את הכלי jq. הכלי הזה הוא מעבד JSON קל וגמיש של שורת הפקודה. המעבד הזה משמש להצגת פקודות cURL מורכבות בטקסט שקל לקרוא.

הגדרה של משתני סביבה

בתהליך הזה, תגדירו את המשתנים הבאים:

‫$PROJECT: המשתנה הזה משויך לפרויקט ב- Google Cloud. כל המשאבים ב-Google Cloud שאתם מקצים ומשתמשים בהם צריכים להיות שייכים לפרויקט.
‫$TOKEN: המשתנה הזה משויך לטוקן גישה. טוקן הגישה מספק סשן שמשמש את Cloud Shell לביצוע משימות ב-Datastream באמצעות ממשקי API בארכיטקטורת REST.

מפעילים את אפליקציית Cloud Shell.
אחרי האימות באפליקציה באמצעות חשבון Google, מזינים את הפקודה הבאה:
```
gcloud auth login
```
בהנחיה Do you want to continue (Y/n)?, מזינים את Y.
פותחים דפדפן אינטרנט ומעתיקים את כתובת ה-URL לדפדפן.
מאמתים את ה-SDK של Google Cloud באמצעות חשבון Google. בדף כניסה מופיע קוד. הקוד הזה הוא טוקן הגישה שלכם.
מעתיקים את טוקן הגישה, מדביקים אותו בפרמטר Enter verification code: באפליקציית Cloud Shell ולוחצים על Enter.
מזינים את הפקודה PROJECT=\"YOUR_PROJECT_NAME\" כדי להגדיר את משתנה הסביבה $PROJECT לפרויקט ב- Google Cloud.
מזינים את הפקודה gcloud config set project YOUR_PROJECT_NAME כדי להגדיר את הפרויקט שרוצים לעבוד עליו כפרויקט Google Cloud.

שורת הפקודה מתעדכנת בהתאם לפרויקט הפעיל, בפורמט הבא: USERNAME@cloudshell:~ (YOUR_PROJECT_NAME)$
מזינים את הפקודה TOKEN=$(gcloud auth print-access-token) כדי לאחזר את אסימון הגישה ולשמור אותו כמשתנה.
מזינים את הפקודות הבאות כדי לוודא שהמשתנים $PROJECT ו-$TOKEN מוגדרים נכון:
- echo $PROJECT
- echo $TOKEN

אחרי שהגדרתם את המשתנים, אתם יכולים לשלוח בקשות ל-Datastream כדי ליצור ולנהל פרופילי חיבור וגם סטרימינג.

יצירה וניהול של פרופילי חיבורים

בקטע הזה יוצרים ומנהלים פרופילי חיבור למסד נתונים של Oracle במקור ולקטגוריית יעד ב-Cloud Storage.

כשיוצרים את פרופילי החיבור האלה, יוצרים רשומות שמכילות מידע על מסד הנתונים של המקור ועל קטגוריה של Cloud Storage ביעד. Datastream משתמש במידע שבפרופילי החיבור כדי להעביר נתונים ממסד הנתונים של המקור לתיקייה בקטגוריית היעד.

יצירה וניהול של פרופילי חיבור כוללים:

יצירת פרופילי חיבור למסד נתונים של Oracle במקור ולקטגוריה של Cloud Storage ביעד
אחזור מידע על פרופיל חיבור
שינוי פרופיל חיבור
ביצוע קריאה ל-API של זיהוי בפרופיל החיבור של מקור Oracle. הקריאה הזו מאפשרת לכם להסתכל בתוך מסד הנתונים כדי לראות את האובייקטים שמשויכים אליו. האובייקטים האלה כוללים את הסכימות והטבלאות שמכילות את הנתונים של מסד הנתונים. כשמשתמשים ב-Datastream כדי להגדיר מקור נתונים, יכול להיות שלא תרצו לשלוף את כל האובייקטים ממסד הנתונים, אלא רק קבוצת משנה של האובייקטים (לדוגמה, רק טבלאות וסכימות מסוימות של מסד הנתונים). משתמשים ב-Discovery API כדי למצוא (או לגלות) את קבוצת המשנה של אובייקטים במסד הנתונים שרוצים לשלוף.

יצירת פרופילי חיבורים

בשלב הזה יוצרים שני פרופילי חיבור: אחד למסד נתונים של Oracle במקור, והשני לקטגוריית יעד ב-Cloud Storage.

יוצרים פרופיל חיבור למסד נתונים של Oracle במקור. בשורת הפקודה, מזינים את הפקודה הבאה:

ORACLE="{\"displayName\":\"DISPLAY_NAME\",\"oracle_profile\":{\"hostname\":\"HOSTNAME\",\"username\":\"USERNAME\",\"password\":\"PASSWORD\",\"database_service\":\"DATABASE_SERVICE\",\"port\":"PORT_NUMBER\"},\"no_connectivity\":{}}"

הטבלה הבאה תעזור לכם להבין את ערכי הפרמטרים של מסד הנתונים של Oracle במקור:

ערך הפרמטר	החלף ב
`DISPLAY_NAME`	השם המוצג של פרופיל החיבור למסד הנתונים של המקור.
`HOSTNAME`	שם המארח של שרת מסד הנתונים של המקור.
`USERNAME`	שם המשתמש של החשבון במסד הנתונים של המקור (לדוגמה, `ROOT`).
`PASSWORD`	הסיסמה של החשבון למסד הנתונים של המקור.
`DATABASE_SERVICE`	השירות שמוודא שמסד הנתונים של המקור מוגן ומנוטר. במסדי נתונים של Oracle, שירות מסד הנתונים הוא בדרך כלל `ORCL`.
`PORT_NUMBER`	מספר היציאה ששמור למסד הנתונים של המקור. במסד נתונים של Oracle, מספר היציאה הוא בדרך כלל 1521.

הערה: במדריך הזה משתמשים בשיטת הקישוריות לרשת no_connectivity, כי הגדרתם את מסד הנתונים של Oracle במקור כך שיאפשר חיבורים נכנסים מכתובות IP ציבוריות של Datastream. בנוסף ל-no_connectivity, יש שתי שיטות נתמכות לקישוריות רשת שבהן אפשר להשתמש כדי ליצור חיבור בין מסד הנתונים של המקור לבין התיקייה בקטגוריה של Cloud Storage.

רשימת היתרים של כתובות IP: בשיטה הזו מגדירים את מסד הנתונים של המקור כך שיקבל חיבורים מכתובת ה-IP הציבורית של Datastream. אם אתם משתמשים ברשימת היתרים של כתובות IP כשיטה לחיבור לרשת, החליפו את no_connectivity ב-StaticIpConnectivity.
מנהרת SSH להעברה: בשיטה הזו נוצרת קישוריות ממסד הנתונים של המקור ל-Datastream דרך מנהרת SSH מאובטחת. אם אתם משתמשים במנהרת SSH להעברה כשיטה לחיבור לרשת, החליפו את no_connectivity ב-forwardSshTunnelConnectivity. למידע על הערכים שאפשר להגדיר לשיטה הזו של חיבור לרשת, קראו את מאמרי העזרה.

בשורת הפקודה, מזינים את הפקודה echo $ORACLE | jq כדי לראות את פרופיל החיבור של המקור שיצרתם בטקסט קל לקריאה.

{
  "displayName": "DISPLAY_NAME",
  "oracle_profile": {
    "hostname": "HOSTNAME",
    "username": "USERNAME",
    "password": "PASSWORD",
    "database_service": "DATABASE_SERVICE",
    "port": PORT_NUMBER
   },
  "no_connectivity": {}
}

שולחים את פרופיל החיבור ל-Oracle כדי ליצור אותו. בשורת הפקודה, מזינים את הפקודה הבאה:

curl -X POST -d $ORACLE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles?connection_profile_id=SOURCE_CONNECTION_PROFILE_ID

הטבלה הבאה תעזור לכם להבין את ערכי הפרמטרים של הפקודה הזו:

ערך הפרמטר	החלף ב
`DATASTREAM_API_VERSION`	הגרסה הנוכחית של Datastream API (לדוגמה, `v1`).
`PROJECT_PATH`	הנתיב המלא של הפרויקט ב- Google Cloud (לדוגמה, `projects/$PROJECT/locations/YOUR_PROJECT_LOCATION`).
`SOURCE_CONNECTION_PROFILE_ID`	המזהה הייחודי ששמור לפרופיל החיבור הזה (לדוגמה, `cp-1`).

מוודאים ששורות הקוד הבאות מופיעות:

{
  "name": "PROJECT_PATH/operations/operation-SOURCE_CONNECTION_PROFILE_OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
    "createTime": "DATE_AND_TIME_STAMP",
    "target": "datastream.googleapis.com/DATASREAM_VERSION/PROJECT_PATH/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
    "verb": "create",
    "requestedCancellation": false,
    "apiVersion": "DATASTREAM_API_VERSION"
  },
  "done": false
}

יוצרים פרופיל חיבור לקטגוריית יעד ב-Cloud Storage. בשורת הפקודה, מזינים את הפקודה הבאה:

GOOGLECLOUDSTORAGE="{\"displayName\":\"DISPLAY_NAME\",\"gcs_profile\":{\"bucket\":\"BUCKET_NAME\",\"root_path\":\"/FOLDER_PATH\"},\"no_connectivity\":{}}"

הטבלה הבאה תעזור לכם להבין את ערכי הפרמטרים של קטגוריית היעד:

ערך הפרמטר	החלף ב
`DISPLAY_NAME`	השם המוצג של פרופיל החיבור לקטגוריית היעד.
`BUCKET_NAME`	השם של קטגוריית היעד.
`FOLDER_PATH`	התיקייה בקטגוריית היעד שאליה Datastream יעביר נתונים ממסד הנתונים של המקור (לדוגמה, `/root/path`).

בשורת הפקודה, מזינים את הפקודה echo $GOOGLECLOUDSTORAGE | jq כדי לראות את פרופיל החיבור של היעד שיצרתם בטקסט קל לקריאה.
```
{
  "displayName": "DISPLAY_NAME",
  "gcs_profile": {
    "bucket": "BUCKET_NAME",
    "root_path": "/FOLDER_PATH"
  },
  "no_connectivity": {}
}
```
שולחים את פרופיל החיבור ל-Cloud Storage כדי ליצור אותו. בשורת הפקודה, מזינים את הפקודה הבאה:
```
curl -X POST -d $GOOGLECLOUDSTORAGE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles?connection_profile_id=DESTINATION_CONNECTION_PROFILE_ID
```
חשוב: בערך הפרמטר DESTINATION_CONNECTION_PROFILE_ID, צריך לציין מזהה אחר לפרופיל החיבור הזה (לדוגמה, cp-2).

מוודאים ששורות הקוד הבאות מופיעות:

{
  "name": "PROJECT_PATH/operations/operation-DESTINATION_CONNECTION_PROFILE_OPERATION_ID",
  "metadata": {
    "@type": "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
    "createTime": "DATE_AND_TIME_STAMP",
    "target": "datastream.googleapis.com/DATASTREAM_VERSION/PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
    "verb": "create",
    "requestedCancellation": false,
    "apiVersion": "DATASTREAM_API_VERSION"
  },
  "done": false
}

מוודאים ששני פרופילי החיבור נוצרו. בשורת הפקודה, מזינים את הפקודה הבאה:
```
curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles
```
הערה: המחרוזת connectionProfiles בסוף הפקודה מציינת שרוצים לאחזר מידע על שני הפרופילים של החיבורים כדי לוודא שהם נוצרו.

מוודאים שמתקבלות שתי תוצאות, גם לפרופיל החיבור של המקור וגם לפרופיל החיבור של היעד.

{
  "connectionProfiles": [
    {
      "name": "PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
      "createTime": "DATE_AND_TIME_STAMP",
      "updateTime": "DATE_AND_TIME_STAMP",
      "displayName": "DISPLAY_NAME",
      "gcsProfile": {
        "bucket": "BUCKET_NAME",
        "rootPath": "FOLDER_PATH"
      },
      "noConnectivity": {}
    },
   {
    "name": "PROJECT_PATH/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
    "createTime": "DATE_AND_TIME_STAMP",
    "updateTime": "DATE_AND_TIME_STAMP",
    "displayName": "DISPLAY_NAME",
    "oracleProfile": {
      "hostname": "HOSTNAME",
      "port": PORT_NUMBER,
      "username": "USERNAME",
      "databaseService": "DATABASE_SERVICE"
    },
    "noConnectivity": {}
    }
  ]
}

ניהול פרופילי חיבורים

בשלב הזה אתם מנהלים את פרופילי החיבור שיצרתם למסד נתונים של Oracle במקור ולקטגוריית יעד ב-Cloud Storage. למשל:

אחזור מידע על פרופיל החיבור של היעד ב-Cloud Storage
שינוי פרופיל החיבור הזה. במדריך הזה, תשנו את התיקייה של קטגוריית היעד ב-Cloud Storage ל-/root/tutorial. ‫Datastream מעביר נתונים ממסד הנתונים של המקור לתיקייה הזו.
ביצוע קריאה ל-API של גילוי בפרופיל החיבור של מקור Oracle

אחזור מידע על פרופיל החיבור של היעד ב-Cloud Storage. בשורת הפקודה, מזינים את הפקודה הבאה:

curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID

מוודאים שמופיע מידע על פרופיל החיבור הזה.

{
  "name": "PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
  "createTime": "DATE_AND_TIME_STAMP",
  "updateTime": "DATE_AND_TIME_STAMP",
  "displayName": "DISPLAY_NAME",
  "gcsProfile": {
    "bucket": "BUCKET_NAME",
    "rootPath": "FOLDER_PATH"
  },
  "noConnectivity": {}
}

שינוי פרופיל החיבור הזה. כדי לעשות את זה, קודם צריך להגדיר משתנה UPDATE. המשתנה הזה מכיל את הערכים של פרופיל החיבור שרוצים לשנות. במדריך הזה, תשנו את התיקייה של קטגוריית היעד ל-/root/tutorial.

כדי להגדיר את המשתנה, מזינים את הפקודה הבאה בשורת הפקודה:
```
UPDATE="{\"gcsProfile\":{\"rootPath\":\"/root/tutorial\"}}"
```

מזינים את הפקודה הבאה:

curl -X PATCH -d $UPDATE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID?update_mask=gcsProfile.rootPath

מוודאים ששורות הקוד הבאות מופיעות:

{
  "name": "PROJECT_PATH/operations/operation-DESTINATION_CONNECTION_PROFILE_OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
    "createTime": "DATE_AND_TIME_STAMP",
    "target": "PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
    "verb": "update",
    "requestedCancellation": false,
    "apiVersion": "DATASTREAM_API_VERSION"
  },
  "done": false
}

מוודאים שפרופיל החיבור השתנה. בשורת הפקודה, מזינים את הפקודה הבאה:

curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID

מוודאים שהתיקייה של קטגוריית היעד בפרופיל החיבור ל-Cloud Storage היא עכשיו /root/tutorial.

{
  "name": "PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
  "createTime": "DATE_AND_TIME_STAMP",
  "updateTime": "DATE_AND_TIME_STAMP",
  "displayName": "DISPLAY_NAME",
  "gcsProfile": {
    "bucket": "BUCKET_NAME",
    "rootPath": "/root/tutorial"
  },
  "noConnectivity": {}
}

משתמשים ב-Datastream discover API כדי לגלות את הסכימות והטבלאות של מסד הנתונים של Oracle במקור. ‫Datastream מספק גישה למסד הנתונים הזה דרך פרופיל החיבור של המקור.
1. לגלות את הסכימות של מסד הנתונים של Oracle. בשורת הפקודה, מזינים את הפקודה הבאה:
```
curl -X POST -d "{\"connection_profile_name\":\"projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID\", \"oracle_rdbms\":{\"oracleSchemas\":[{\"schema\":\"ROOT\"}]}}" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles:discover
```
  הערה: מחליפים את ה-placeholder‏ YOUR_PROJECT_NUMBER במספר הזיהוי בן 10 הספרות של הפרויקט ב- Google Cloud . connectionProfiles:discoverהחלק הזה בקוד מציין שרוצים להשתמש בפרופיל החיבור של מסד הנתונים של Oracle כמקור כדי לגלות את כל הסכימות של מסד הנתונים הזה.
2. מוודאים ש-Datastream מאחזר את כל הסכימות של מסד הנתונים.
3. אחזור הטבלאות של סכימה במסד הנתונים. במדריך הזה תשתמשו ב-Discovery API כדי לאחזר את הטבלאות של הסכימה ROOT. עם זאת, אתם יכולים לגלות את הטבלאות של כל סכימה במסד הנתונים.
  
  בשורת הפקודה, מזינים את הפקודה הבאה:
```
curl -X POST -d "{\"connection_profile_name\":\"projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID\", \"oracle_rdbms\":{\"oracleSchemas\":[{\"schema\":\"ROOT\"}]}}" -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles:discover
```
1. מוודאים ש-Datastream מאחזר את כל הטבלאות של הסכימה שציינתם (במדריך הזה, הסכימה ROOT).

עכשיו, אחרי שיצרתם וניהלתם פרופילי חיבור למסד נתונים של Oracle במקור ולקטגוריית יעד ב-Cloud Storage, אתם יכולים ליצור ולנהל סטרימינג ב-Datastream.

יצירה וניהול של שידור

בקטע הזה אתם יוצרים ומנהלים שידור. Datastream משתמש בסטרימינג הזה כדי להעביר נתונים, סכימות וטבלאות ממסד הנתונים של המקור לתיקייה בקטגוריה של Cloud Storage.

יצירה וניהול של שידור כוללים:

אימות של מקור נתונים כדי לוודא שהוא יפעל בהצלחה, ושהוא יעבור את כל בדיקות האימות. הבדיקות האלה כוללות:
- אם המקור מוגדר כמו שצריך כדי לאפשר ל-Datastream להעביר ממנו נתונים בסטרימינג.
- אם ה-stream יכול להתחבר גם למקור וגם ליעד.
- ההגדרה מקצה לקצה של השידור.
יוצרים את השידור עם הרשימות הבאות:
- רשימת היתרים. הרשימה הזו מציינת את הטבלאות והסכימות במסד הנתונים של המקור, ש-Datastream יכול להעביר לתיקייה בקטגוריית היעד ב-Cloud Storage. במדריך הזה, התיקייה היא /root/tutorial.
- רשימת דחייה. הרשימה הזו מציינת את הטבלאות והסכימות במסד הנתונים של המקור, ש-Datastream לא יכול להעביר לתיקייה בקטגוריית היעד של Cloud Storage.
מאחזר מידע על השידור
שינוי השידור
הפעלת ה-stream כדי ש-Datastream יוכל להעביר נתונים, סכימות וטבלאות ממסד הנתונים של המקור לתיקייה בקטגוריה של Cloud Storage.
שימוש ב-Fetch Errors API כדי לזהות שגיאות שקשורות לשידור
השידור מושהה. כשהסטרימינג מושהה, Datastream לא שולף נתונים חדשים ממסד הנתונים של המקור אל קטגוריית היעד.
מחדשים את הסטרימינג שהושהה כדי ש-Datastream יוכל להמשיך להעביר נתונים לקטגוריית היעד.

יצירת מקור נתונים

בשלב הזה יוצרים סטרימינג ממסד הנתונים של Oracle (המקור) לתיקייה בקטגוריה של Cloud Storage (היעד). השידור שתיצרו יכלול גם רשימת היתרים וגם רשימת דחייה.

מגדירים משתנה SCHEMAS. המשתנה הזה מגדיר את הסכימות שמכילות את הנתונים והטבלאות שאתם רוצים ש-Datastream יאחזר ממסד הנתונים של המקור ויעביר לתיקייה /root/tutorial בקטגוריית היעד של Cloud Storage. במדריך הזה, תגדירו את המשתנה SCHEMAS כך שישויך לסכימה ROOT.

מזינים את הפקודה הבאה:
```
SCHEMAS="{\"oracleSchemas\":[{\"schema\":\"ROOT\"}]}"
```
בשורת הפקודה, מזינים את הפקודה echo $SCHEMAS | jq כדי לראות את הסכימה ROOT שהגדרתם למשתנה הזה בטקסט שקל לקרוא.

יוצרים מקור נתונים. בשורת הפקודה, מזינים את הפקודה הבאה:

STREAM="{\"display_name\":\"DISPLAY_NAME\",\"source_config\":{\"source_connection_profile_name\":\"PROJECT_PATH/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",\"oracle_source_config\":{\"allowlist\":$SCHEMAS,\"rejectlist\":{}}},\"destination_config\":{\"destination_connection_profile_name\":\"PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID\",\"gcs_destination_config\":{\"file_rotation_mb\":5,\"file_rotation_interval\":{\"seconds\":15},\"avro_file_format\":{}},\"backfill_all\":{}}}"

בשורת הפקודה, מזינים את הפקודה echo $STREAM | jq כדי לראות את הסטרימינג שיצרתם בטקסט קל לקריאה.

{
  "display_name": "DISPLAY_NAME",
  "source_config": {
    "source_connection_profile_name": "PROJECT_PATH/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
    "oracle_source_config": {
      "allowlist": {
        "oracleSchemas": [
          {
            "schema": "ROOT"
          }
        ]
      },
      "rejectlist": {}
    }
  },
  "destination_config": {
    "destination_connection_profile_name": "PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
    "gcs_destination_config": {
      "file_rotation_mb": 5,
      "file_rotation_interval": {
        "seconds": 15
      },
      "avro_file_format": {}
    }
  },
  "backfill_all": {}
}

אתם יכולים להיעזר בטבלה הבאה כדי להבין את הפרמטרים הבאים של השידור:

פרמטר	תיאור
`allowlist`	הסכימות, שמכילות טבלאות ונתונים, שיועברו ממסד הנתונים של המקור לתיקייה בקטגוריית היעד של Cloud Storage. במדריך הזה, כל הטבלאות והנתונים מהסכימה `ROOT` (ורק מהסכימה הזו) יועברו לתיקייה `/root/tutorial` בקטגוריית היעד.
`rejectlist`	כל הסכימות, שמכילות טבלאות ונתונים, שלא יועברו לתיקייה בקטגוריית היעד של Cloud Storage. במדריך הזה, הערך `{}` מציין שכל הטבלאות והנתונים ממסד הנתונים של המקור יועברו לקטגוריית היעד.
`file_rotation_mb`	הגודל (במגה-בייט) של קבצים שמכילים נתונים שמועברים ממסד הנתונים של המקור לתיקייה בקטגוריית היעד ב-Cloud Storage. במדריך הזה, הנתונים מאוחזרים ממסד הנתונים של המקור ונכתבים בקבצים בגודל 5MB. אם הנתונים חורגים מהגודל הזה, הם יחולקו לכמה קבצים בגודל 5MB.
`file_rotation_interval`	מספר השניות שיחלפו לפני ש-Datastream יסגור קובץ קיים בתיקייה של קטגוריית היעד ב-Cloud Storage ויפתח קובץ אחר שיכיל נתונים שמועברים ממסד הנתונים של המקור. במדריך הזה, מרווח הזמן לרוטציה של הקבצים מוגדר ל-15 שניות.
`avro_file_format`	הפורמט של הקבצים ש-Datastream יעביר ממסד הנתונים של המקור לתיקייה בקטגוריית היעד של Cloud Storage. במדריך הזה, פורמט הקובץ הוא Avro. בנוסף ל-Avro, עכשיו Datastream תומך בפורמט הפלט JSON לקבצים שנכתבים ב-Cloud Storage. במקום `avro_file_format`, הוא מיוצג על ידי הפרמטר `json_file_format`. בפורמט JSON, אתם יכולים: כוללים בנתיב קובץ סכימה של סוגים מאוחדים. כתוצאה מכך, Datastream כותב שני קבצים ב-Cloud Storage: קובץ נתונים בפורמט JSON וקובץ סכימה בפורמט Avro. שם קובץ הסכימה זהה לשם של קובץ הנתונים, עם הסיומת `.schema`. כדי ש-Datastream ידחוס את הקבצים שנכתבים ב-Cloud Storage, צריך להפעיל דחיסת gzip. שני המאפיינים האלה לא רלוונטיים ל-Avro, ולכן הערך של הפרמטר `avro_file_format` מוגדר כמילון ריק (`{}`).
`backfill_all`	הפרמטר הזה משויך למילוי היסטורי. אם מגדירים את הפרמטר הזה למילון ריק (`{}`), Datastream ימלא: נתונים היסטוריים, בנוסף לשינויים שוטפים בנתונים, ממסד הנתונים של המקור ליעד. סכימות וטבלאות, מהמקור ליעד.

מאמתים את הסטרימינג כדי לוודא שהוא יפעל כמו שצריך ושהוא יעבור את כל בדיקות האימות. בשורת הפקודה, מזינים את הפקודה הבאה:
```
curl -X POST -d $STREAM -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" "https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams?stream_id=STREAM_ID&validate_only=true"
```
מחליפים את ערך הפרמטר STREAM_ID במזהה ייחודי ששמור לשידור הזה (לדוגמה, stream-1).

הערך &validate_only=true מציין שאתם רק מאמתים את הסטרימינג, ולא יוצרים אותו. בבקשה הזו, צריך להזין את כתובת ה-URL המלאה בתוך מירכאות. כך Datastream יקבל את הערך &validate_only=true כדי לאמת את הסטרימינג.
מוודאים ששורת הקוד {} מופיעה. המשמעות היא שהשידור עבר את כל בדיקות האימות ואין שגיאות שקשורות אליו.

אם בדיקת אימות כלשהי נכשלת, מופיע מידע על הסיבה לכישלון ועל מה שצריך לעשות כדי לתקן את הבעיה.

אחרי שתבצעו את התיקונים המתאימים, שלחו שוב את הבקשה כדי לוודא שכל בדיקות האימות עוברות בהצלחה.

שולחים את השידור כדי ליצור אותו. בשורת הפקודה, מזינים את הפקודה הבאה:

curl -X POST -d $STREAM -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams?stream_id=STREAM_ID

מוודאים ששורות הקוד הבאות מופיעות:

{
  "name": "PROJECT_PATH/operations/operation-STREAM_OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
    "createTime": "DATE_AND_TIME_STAMP",
    "target": "PROJECT_PATH/streams/STREAM_ID",
    "verb": "create",
    "requestedCancellation": false,
    "apiVersion": "DATASTREAM_API_VERSION"
  },
  "done": false
}

מוודאים שהשידור נוצר. בשורת הפקודה, מזינים את הפקודה הבאה:
```
curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams
```
הערה: המחרוזת streams בסוף הפקודה מציינת שרוצים לאחזר מידע על הסטרימינג כדי לוודא שהוא נוצר.

מוודאים שמתקבלת תוצאה עבור הסטרימינג שיצרתם.

{
  "streams": [
    {
      "name": "PROJECT_PATH/streams/STREAM_ID",
      "createTime": "DATE_AND_TIME_STAMP",
      "updateTime": "DATE_AND_TIME_STAMP",
      "displayName": "DISPLAY_NAME",
      "sourceConfig": {
        "sourceConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
        "oracleSourceConfig": {
          "allowlist": {
            "oracleSchemas": [
              {
                "schema": "ROOT"
              }
            ]
          },
          "rejectlist": {}
        }
      },
      "destinationConfig": {
        "destinationConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
      "gcsDestinationConfig": {
          "fileRotationMb": 5,
          "fileRotationInterval": "15s"
          "avroFileFormat": {}
        }
      },
      "state": "CREATED",
      "backfillAll": {}
    }
  ]
}

ניהול השידור

בשלב הזה תשתמשו בסטרימינג שיצרתם כדי להעביר נתונים ממסד נתונים של Oracle (המקור) לתיקייה בקטגוריית יעד ב-Cloud Storage. למשל:

מאחזר מידע על השידור
שינוי השידור
השידור מתחיל
שימוש ב-Fetch Errors API כדי לזהות שגיאות שקשורות לשידור
השהיה והמשך של השידור

אחזור מידע על השידור. בשורת הפקודה, מזינים את הפקודה הבאה:

curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID

מוודאים שמופיע מידע על מקור הנתונים הזה.

{
  "name": "PROJECT_PATH/streams/STREAM_ID",
  "createTime": "DATE_AND_TIME_STAMP",
  "updateTime": "DATE_AND_TIME_STAMP",
  "displayName": "DISPLAY_NAME",
  "sourceConfig": {
    "sourceConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
    "oracleSourceConfig": {
      "allowlist": {
        "oracleSchemas": [
          {
            "schema": "ROOT"
          }
        ]
      },
      "rejectlist": {}
     }
    },
    "destinationConfig": {
      "destinationConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
      "gcsDestinationConfig": {
        "fileRotationMb": 5,
        "fileRotationInterval": "15s"
        "avroFileFormat": {}
      }
    },
    "state": "CREATED",
    "backfillAll": {}
  }

שינוי מקור הנתונים הזה. כדי לעשות את זה, קודם צריך להגדיר משתנה UPDATE. המשתנה הזה מכיל את הערכים של המקור שרוצים לשנות. במדריך הזה, משנים את הגודל (במגה-בייט) של הקבצים שמכילים נתונים שמועברים ממסד הנתונים של המקור לתיקייה בקטגוריית היעד של Cloud Storage (מ-5MB ל-100MB). בזמן שהנתונים מאוחזרים ממסד הנתונים של המקור, הם נכתבים בקבצים של 100MB. אם הנתונים חורגים מהגודל הזה, הם יחולקו לכמה קבצים בגודל 100MB.

כדי להגדיר את המשתנה, מזינים את הפקודה הבאה בשורת הפקודה:
```
UPDATE="{\"destination_config\":{\"gcs_destination_config\":{\"file_rotation_mb\":100}}}"
```
בשורת הפקודה, מזינים את הפקודה הבאה:
```
curl -X PATCH -d $UPDATE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID/?update_mask=destination_config.gcs_destination_config.file_rotation_mb
```
הערה: החלק update_mask=destination_config.gcs_destination_config.file_rotation_mb בקוד מציין שרוצים לשנות את הערך של הפרמטר file_rotation_mb בפרופיל החיבור ל-Cloud Storage.

מוודאים ששורות הקוד הבאות מופיעות:

{
  "name": "PROJECT_PATH/operations/operation-STREAM_OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
    "createTime": "DATE_AND_TIME_STAMP",
    "target": "PROJECT_PATH/streams/STREAM_ID",
    "verb": "update",
    "requestedCancellation": false,
    "apiVersion": "DATASTREAM_API_VERSION"
  },
  "done": false
}

מוודאים שהשינוי בוצע. בשורת הפקודה, מזינים את הפקודה הבאה:

curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID

מוודאים שהערך של הפרמטר fileRotationMb בפרופיל החיבור של Cloud Storage הוא עכשיו 100.

{
  "name": "PROJECT_PATH/streams/STREAM_ID",
  "createTime": "DATE_AND_TIME_STAMP",
  "updateTime": "DATE_AND_TIME_STAMP",
  "displayName": "DISPLAY_NAME",
  "sourceConfig": {
    "sourceConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
    "oracleSourceConfig": {
      "allowlist": {
        "oracleSchemas": [
          {
            "schema": "ROOT"
          }
        ]
      },
      "rejectlist": {}
     }
    },
    "destinationConfig": {
      "destinationConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
      "gcsDestinationConfig": {
        "fileRotationMb": 100,
        "fileRotationInterval": "15s"
        "avroFileFormat": {}
      }
    },
    "state": "CREATED",
    "backfillAll": {}
  }

מתחילים את השידור. כדי לעשות את זה:
1. משנים את המשתנה UPDATE. בשורת הפקודה, מזינים את הפקודה הבאה:
```
UPDATE="{\"state\":\"RUNNING\"}"
```
2. ואז מזינים את הפקודה הבאה:
```
curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID?updateMask=state
```
  כשמשתמשים בפרמטר updateMask בבקשה, צריך לכלול בגוף הבקשה רק את השדות שציינתם.
  
  בדוגמה הזו, השדה שצוין הוא state, שמייצג את הסטטוס (או המצב) של השידור. כשמתחילים את השידור, הסטטוס שלו משתנה מ-CREATED ל-RUNNING.

מוודאים ששורות הקוד הבאות מופיעות.

{
  "name": "PROJECT_PATH/operations/operation-STREAM_OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
    "createTime": "DATE_AND_TIME_STAMP",
    "target": "PROJECT_PATH/streams/STREAM_ID",
    "verb": "start",
    "requestedCancellation": false,
    "apiVersion": "DATASTREAM_API_VERSION"
  },
  "done": false
}

אחרי כמה דקות, מאחזרים מידע על הסטרימינג כדי לוודא שהוא התחיל:
```
curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID
```
הערה: לוקח כמה דקות עד שהשידור מתחיל. צריך להפעיל משאבים ברקע כדי שהשידור יוכל להתחיל.

מוודאים שהסטטוס של השידור השתנה מ-CREATED ל-RUNNING.

{
  "name": "PROJECT_PATH/streams/STREAM_ID",
  "createTime": "DATE_AND_TIME_STAMP",
  "updateTime": "DATE_AND_TIME_STAMP",
  "displayName": "DISPLAY_NAME",
  "sourceConfig": {
    "sourceConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
    "oracleSourceConfig": {
      "allowlist": {
        "oracleSchemas": [
          {
            "schema": "ROOT"
          }
        ]
      },
      "rejectlist": {}
    }
  },
  "destinationConfig": {
    "destinationConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
    "gcsDestinationConfig": {
      "fileRotationMb": 100,
      "fileRotationInterval": "15s"
      "avroFileFormat": {}
    }
  },
  "state": "RUNNING",
  "backfillAll": {}
}

כשמתחילים שידור, הסטטוס משתנה קודם ל-STARTING. המשמעות היא שהשידור בתהליך של הפעלה ואימות.

אם הסטרימינג תקין, הסטטוס שלו משתנה מ-STARTING ל-RUNNING.
אם הסטרימינג לא תקין, הסטטוס שלו משתנה בחזרה מ-STARTING ל-CREATED. לטפל בשגיאות שקשורות לשידור. לדוגמה, אם השגיאות קשורות לפרטי הקישוריות של ה-stream, צריך לשנות את ההגדרה של ה-stream. אחרי שפותרים את כל הבעיות בשידור, מפעילים אותו מחדש. הסטטוס משתנה ל-STARTING, ואז ל-RUNNING.

אם הסטטוס של השידור הוא עדיין STARTING, מחכים כמה שניות ומזינים שוב את הפקודה לאחזור מידע על השידור. סטטוס השידור אמור להשתנות ל-RUNNING.

שימוש ב-Fetch Errors API כדי לאחזר שגיאות שקשורות לשידור.

מזינים את הפקודה הבאה:

curl -X POST -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID:fetchErrors

מוודאים ששורות הקוד הבאות מופיעות:

  {
    "name": "PROJECT_PATH/operations/operation-FETCH_ERRORS_OPERATION_ID",
    "metadata": {
      "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
      "createTime": "DATE_AND_TIME_STAMP",
      "target": "PROJECT_PATH/streams/STREAM_ID",
      "verb": "fetchErrors",
      "requestedCancellation": false,
      "apiVersion": "DATASTREAM_API_VERSION"
    },
    "done": false
  }

מזינים את הפקודה הבאה:

curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/operations/operation-FETCH_ERRORS_OPERATION_ID

מוודאים ששורות הקוד הבאות מופיעות:
```
  {
    "name": "PROJECT_PATH/operations/operation-FETCH_ERRORS_OPERATION_ID",
    "metadata": {
      "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
      "createTime": "DATE_AND_TIME_STAMP",
      "endTime": "DATE_AND_TIME_STAMP",
      "target": "PROJECT_PATH/streams/STREAM_ID",
      "verb": "fetchErrors",
      "requestedCancellation": false,
      "apiVersion": "DATASTREAM_API_VERSION"
    },
    "done": true,
    "response": {
      "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.FetchErrorsResponse"
    }
  }
  
```
הערה: לא מופיעות שגיאות אחרי שורת הקוד "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.FetchErrorsResponse. המשמעות היא ש-Datastream לא זיהה שגיאות ב-stream. אתם יכולים להשתמש בסטרימינג כדי להעביר נתונים ממסד הנתונים של Oracle במקור אל התיקייה /root/tutorial בקטגוריית היעד ב-Cloud Storage. דוגמה לשגיאה שאפשר לאחזר באמצעות Fetch Errors API היא BAD_CREDENTIALS. השגיאה הזו מתרחשת כשיש ערך לא חוקי בפרופילי החיבור של המקור או היעד, ו-Datastream לא יכול להשתמש בפרופילים כדי להתחבר למסד הנתונים של המקור או לקטגוריית היעד ב-Cloud Storage.

להשהות את השידור. כדי לעשות את זה:
1. משנים את המשתנה UPDATE. בשורת הפקודה, מזינים את הפקודה הבאה:
```
UPDATE="{\"state\":\"PAUSED\"}"
```
2. ואז מזינים את הפקודה הבאה:
```
curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID?updateMask=state
```
  השהיית הסטרימינג משנה את המצב שלו מ-RUNNING ל-PAUSED.

מוודאים ששורות הקוד הבאות מופיעות.

{
  "name": "PROJECT_PATH/operations/operation-STREAM_OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
    "createTime": "DATE_AND_TIME_STAMP",
    "target": "PROJECT_PATH/streams/STREAM_ID",
    "verb": "start",
    "requestedCancellation": false,
    "apiVersion": "DATASTREAM_API_VERSION"
  },
  "done": false
}

אחזור מידע על השידור כדי לוודא שהוא מושהה.

curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID

מוודאים שהסטטוס של השידור השתנה מ-RUNNING ל-PAUSED.

{
  "name": "PROJECT_PATH/streams/STREAM_ID",
  "createTime": "DATE_AND_TIME_STAMP",
  "updateTime": "DATE_AND_TIME_STAMP",
  "displayName": "DISPLAY_NAME",
  "sourceConfig": {
    "sourceConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
    "oracleSourceConfig": {
      "allowlist": {
        "oracleSchemas": [
          {
            "schema": "ROOT"
          }
        ]
      },
      "rejectlist": {}
    }
  },
  "destinationConfig": {
    "destinationConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
    "gcsDestinationConfig": {
      "fileRotationMb": 100,
      "fileRotationInterval": "15s"
      "avroFileFormat": {}
    }
  },
  "state": "PAUSED",
  "backfillAll": {}
}

ממשיכים את השידור שהושהה. כדי לעשות את זה:
1. משנים את המשתנה UPDATE. בשורת הפקודה, מזינים את הפקודה הבאה:
```
UPDATE="{\"state\":\"RUNNING\"}"
```
2. ואז מזינים את הפקודה הבאה:
```
curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID?updateMask=state
```
  כשמפעילים מחדש את הסטרימינג, הסטטוס שלו משתנה מ-PAUSED בחזרה ל-RUNNING.

מוודאים ששורות הקוד הבאות מופיעות.

{
  "name": "PROJECT_PATH/operations/operation-STREAM_OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
    "createTime": "DATE_AND_TIME_STAMP",
    "target": "PROJECT_PATH/streams/STREAM_ID",
    "verb": "start",
    "requestedCancellation": false,
    "apiVersion": "DATASTREAM_API_VERSION"
  },
  "done": false
}

אחרי כמה שניות, מאחזרים מידע על השידור כדי לוודא שהוא פועל שוב.

curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID

מוודאים שהסטטוס של השידור השתנה מ-PAUSED בחזרה ל-RUNNING.

{
  "name": "PROJECT_PATH/streams/STREAM_ID",
  "createTime": "DATE_AND_TIME_STAMP",
  "updateTime": "DATE_AND_TIME_STAMP",
  "displayName": "DISPLAY_NAME",
  "sourceConfig": {
    "sourceConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
    "oracleSourceConfig": {
      "allowlist": {
        "oracleSchemas": [
          {
            "schema": "ROOT"
          }
        ]
      },
      "rejectlist": {}
    }
  },
  "destinationConfig": {
    "destinationConnectionProfileName": "projects/YOUR_PROJECT_NUMBER/locations/YOUR_PROJECT_LOCATION/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
    "gcsDestinationConfig": {
      "fileRotationMb": 100,
      "fileRotationInterval": "15s"
      "avroFileFormat": {}
    }
  },
  "state": "RUNNING",
  "backfillAll": {}
}

אחרי שיצרתם וניהלתם את הסטרימינג, וידאתם שאין שגיאות שמשויכות אליו ושהסטטוס שלו הוא RUNNING, אתם יכולים לוודא שהוא יכול להעביר נתונים ממסד הנתונים של המקור לתיקייה בקטגוריית היעד ב-Cloud Storage.

אימות השידור

בשלב הזה מוודאים ש-Datastream:

העברת הנתונים מכל הטבלאות שמשויכות לסכימה ROOT של מסד הנתונים של Oracle במקור, לתיקייה /root/tutorial בקטגוריית היעד ב-Cloud Storage.
ממיר את הנתונים לפורמט הקובץ Avro.

נכנסים לדף Storage browser ב-Cloud Storage.

כניסה לדף Storage browser
לוחצים על הקישור שמכיל את הקטגוריה.
אם הכרטיסייה OBJECTS לא פעילה, לוחצים עליה.
לוחצים על התיקייה root ואז על התיקייה tutorial.

הערה: Datastream יצר את התיקיות root ו-tutorial אחרי ששיניתם את פרופיל החיבור של היעד, על ידי שינוי התיקייה של קטגוריית היעד ל-/root/tutorial.
מוודאים שמופיעות תיקיות שמייצגות טבלאות של הסכימה ROOT של מסד הנתונים של Oracle במקור.
לוחצים על אחת מהתיקיות של הטבלאות ומעמיקים עד שרואים את הנתונים שמשויכים לטבלה.
לוחצים על קובץ שמייצג את הנתונים ולוחצים על הורדה.
פותחים את הקובץ בכלי Avro (לדוגמה, Avro Viewer) כדי לוודא שהתוכן קריא. זה מאשר ש-Datastream גם תרגם את הנתונים לפורמט הקובץ Avro.

הסרת המשאבים

בסיום המדריך, חשוב להסיר את המשאבים שיצרתם ב-Datastream כדי שהם לא יתפסו מקום במכסה ולא תחויבו עליהם בעתיד. בסעיפים הבאים מוסבר איך למחוק או להשבית את המשאבים האלו.

מחיקת הפרויקט

הדרך הקלה ביותר לבטל את החיוב היא למחוק את הפרויקט שיצרתם בשביל המדריך הזה.

כדי למחוק את הפרויקט:

זהירות: כשמוחקים פרויקט:

התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המשימות במדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
מאבדים את מזהה הפרויקט בהתאמה אישית. כשיצרתם את הפרויקט, יכולתם לבחור לו מזהה פרויקט בהתאמה אישית כדי להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו.

אם אתם מתכננים להיעזר בכמה ארכיטקטורות, מדריכים או מדריכים למתחילים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

במסוף Google Cloud , נכנסים לדף Manage resources.
כניסה לדף Manage resources
ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

מחיקת קטגוריית היעד ב-Cloud Storage

בחלונית ההזזה לניווט שבצד ימין של Cloud Storage, לוחצים על Browser.
מסמנים את התיבה שמימין לקטגוריה ולוחצים על DELETE.
בחלון Delete bucket?‎, מזינים את שם הקטגוריה בשדה הטקסט ולוחצים על CONFIRM.

מחיקת השידור

מוודאים שאפליקציית Cloud Shell פעילה.

מזינים את הפקודה הבאה:

curl -X DELETE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams/STREAM_ID

מוודאים ששורות הקוד הבאות מופיעות:

{
  "name": "PROJECT_PATH/operations/operation-STREAM_OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
    "createTime": "DATE_AND_TIME_STAMP",
    "target": "PROJECT_PATH/streams/STREAM_ID",
    "verb": "delete",
    "requestedCancellation": false,
    "apiVersion": "DATASTREAM_API_VERSION"
  },
  "done": false
}

מוודאים שהשידור נמחק. בשורת הפקודה, מזינים את הפקודה הבאה:

curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/streams

מוודאים שמוחזר ערך null של {}. זה אומר שאין יותר מקורות נתונים ב-Datastream, ומקור הנתונים שיצרתם נמחק.

מחיקת פרופילי החיבורים

מוחקים את פרופיל החיבור למסד הנתונים של Oracle במקור. בשורת הפקודה, מזינים את הפקודה הבאה:

curl -X DELETE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID

מוודאים ששורות הקוד הבאות מופיעות:

{
  "name": "PROJECT_PATH/operations/operation-SOURCE_CONNECTION_PROFILE_OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
    "createTime": "DATE_AND_TIME_STAMP",
    "target": "PROJECT_PATH/connectionProfiles/SOURCE_CONNECTION_PROFILE_ID",
    "verb": "delete",
    "requestedCancellation": false,
    "apiVersion": "DATASTREAM_API_VERSION"
  },
  "done": false
}

מוחקים את פרופיל החיבור לקטגוריית היעד ב-Cloud Storage. בשורת הפקודה, מזינים את הפקודה הבאה:

curl -X DELETE -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID

מוודאים ששורות הקוד הבאות מופיעות:

{
  "name": "PROJECT_PATH/operations/operation-DESTINATION_CONNECTION_PROFILE_OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.datastream.DATASTREAM_API_VERSION.OperationMetadata",
    "createTime": "DATE_AND_TIME_STAMP",
    "target": "PROJECT_PATH/connectionProfiles/DESTINATION_CONNECTION_PROFILE_ID",
    "verb": "delete",
    "requestedCancellation": false,
    "apiVersion": "DATASTREAM_API_VERSION"
  },
  "done": false
}

מוודאים ששני פרופילי החיבור נמחקו. בשורת הפקודה, מזינים את הפקודה הבאה:

curl -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" https://datastream.googleapis.com/DATASTREAM_API_VERSION/PROJECT_PATH/connectionProfiles

מוודאים שמוחזר ערך null של {}. זה אומר שאין יותר פרופילי חיבור ב-Datastream, והפרופילים שיצרתם נמחקו.

המאמרים הבאים

מידע נוסף על Datastream
רוצים לנסות תכונות אחרות של Google Cloud ? כדאי לעיין במדריכים שלנו.

שימוש בממשקי API של Datastream קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

מטרות

עלויות

לפני שמתחילים

הגדרה של משתני סביבה

יצירה וניהול של פרופילי חיבורים

יצירת פרופילי חיבורים

ניהול פרופילי חיבורים

יצירה וניהול של שידור

יצירת מקור נתונים

ניהול השידור

אימות השידור

הסרת המשאבים

מחיקת הפרויקט

מחיקת קטגוריית היעד ב-Cloud Storage

מחיקת השידור

מחיקת פרופילי החיבורים

המאמרים הבאים

שימוש בממשקי API של Datastream