‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

שימוש ביומני הפלטפורמה לפתרון בעיות שקשורות לייבוא נושאים

במדריך הזה מוסבר איך להשתמש ביומני הפלטפורמה של Google Cloud כדי לפתור בעיות כשמשתמשים בנושאי ייבוא, כולל: נושאי ייבוא של Cloud Storage, נושאי ייבוא של Azure Event Hubs, נושאי ייבוא של Amazon MSK ונושאי ייבוא של Confluent Cloud.

מידע על יומני פלטפורמה

שירות נתמך של Google Cloud יוצר קבוצה משלו של יומני פלטפורמה, שמתעדים אירועים ופעילויות שרלוונטיים לפעולה של אותו שירות. יומני הפלטפורמה האלה מכילים מידע מפורט על מה שקורה בשירות, כולל פעולות מוצלחות, שגיאות, אזהרות ואירועים חשובים אחרים.

יומני פלטפורמה הם חלק מ-Cloud Logging, והם כוללים את אותן תכונות. לדוגמה, הנה רשימה של תכונות חשובות של יומני פלטפורמה:

היומנים בדרך כלל בנויים כאובייקטים של JSON, שמאפשרים לבצע שאילתות וסינון נוספים.
אפשר לצפות ביומני הפלטפורמה באמצעות Logging במסוף.
אפשר גם לשלב את יומני הפלטפורמה עם Cloud Monitoring וכלי מעקב אחרים כדי ליצור לוחות בקרה, התראות ומנגנוני מעקב אחרים.
אחסון יומנים כרוך בעלויות שמבוססות על נפח הנתונים שהועברו ועל תקופת השמירה.

מידע נוסף על יומני פלטפורמה זמין במאמר בנושא יומני פלטפורמה של Google Cloud.

לפני שמתחילים

חשוב לוודא שהשלמתם את הדרישות המוקדמות ליצירת הנושא שבו אתם משתמשים:

תפקידים והרשאות נדרשים

לפני שמתחילים, צריך לוודא שיש לכם גישה לרישום ביומן. אתם צריכים את התפקיד מציג היומנים (roles/logging.viewer) במערכת לניהול הזהויות והרשאות הגישה (IAM). מידע נוסף על גישה ל-Logging זמין במאמר בקרת גישה באמצעות IAM.

בהמשך מוסבר איך לאמת את הגישה ל-IAM ולהעניק אותה:

בדיקה למי יש גישה כדי לוודא למי יש גישה.
הקצאת תפקיד לחשבונות משתמשים רלוונטיים בפרויקט.

מידע על כשלים בהוספת נושאים לייבוא

יכולות להיות בעיות בייבוא נושאים שימנעו את ההטמעה של הנתונים.

נושאים שקשורים לייבוא ב-Cloud Storage

יכולות להיות בעיות בנושאים שקשורים לייבוא מ-Cloud Storage, שימנעו את ההטמעה של הנתונים. לדוגמה, כשמשתמשים בנושא ייבוא של Cloud Storage, יכולות להיות בעיות בהטמעה של אובייקט Cloud Storage או חלק מאובייקט.

ברשימה הבאה מתוארות הסיבות לכשלים בהעברה בנושאים של ייבוא מ-Cloud Storage שיוצרים יומנים של הפלטפורמה:

גודל ההודעה
- הגודל המקסימלי של כל הודעה הוא 10MB. אם כן, המערכת מדלגת על כל ההודעה.
- אם משתמשים בפורמט Avro או בפורמט Pub/Sub Avro, הגודל המקסימלי של בלוקים ב-Avro הוא 16MB. מערכת BigQuery מדלגת על בלוקים גדולים יותר של Avro.
מאפייני ההודעה
- הודעות יכולות לכלול עד 100 מאפיינים. כל מאפיין נוסף מושמט כשההודעה נטמעת.
- המפתחות של מאפיינים לא יכולים להיות גדולים מ-256 בייט, והערכים לא יכולים להיות גדולים מ-1,024 בייט. אם הערך גדול מהגודל המקסימלי, כל צמד המפתח/ערך יוסר מההודעה כשהיא תיקלט.
  
  מידע נוסף על ההנחיות לשימוש במפתחות ובמאפיינים של הודעות זמין במאמר שימוש במאפיינים לפרסום הודעה.
פורמט Avro
- מוודאים שהפורמט של אובייקטי Avro תקין. פורמט שגוי מונע את ההטמעה של ההודעה.
פורמט נתונים
- חשוב לוודא שאתם משתמשים בגרסת Avro נתמכת. פורמטים לא נתמכים לא מעובדים.

נושאים לייבוא מ-Azure Event Hubs,‏ Amazon MSK ו-Confluent Cloud

בנושאים של ייבוא מ-Azure Event Hubs, מ-Amazon MSK ומ-Confluent Cloud יכולות להיות בעיות שמונעות את הטמעת הנתונים.

ברשימה הבאה מתוארות הסיבות לכשלים בהטמעה בנושאי ייבוא שיוצרים יומני פלטפורמה:

גודל ההודעה
- הגודל המקסימלי של כל הודעה הוא 10MB. אם כן, המערכת מדלגת על כל ההודעה.
מאפייני ההודעה
- הודעות יכולות לכלול עד 100 מאפיינים. כל מאפיין נוסף מושמט כשההודעה נטמעת.
- מפתחות המאפיינים לא יכולים להיות גדולים מ-256 בייטים, והערכים לא יכולים להיות גדולים מ-1,024 בייטים. אם הערך גדול מהגודל המקסימלי, כל צמד המפתח/ערך יוסר מההודעה כשהיא תיקלט.
  
  למידע נוסף על ההנחיות לשימוש במפתחות ובמאפיינים של הודעות, קראו את המאמר שימוש במאפיינים לפרסום הודעה.

הפעלת יומני פלטפורמה

כברירת מחדל, יומני הפלטפורמה מושבתים בנושאי ייבוא. אפשר להפעיל יומני פלטפורמה כשיוצרים או מעדכנים נושא ייבוא. כדי להשבית את יומני הפלטפורמה, צריך לעדכן את נושא הייבוא.

הפעלת יומני פלטפורמה במהלך יצירת נושא ייבוא

כדי להפעיל יומני פלטפורמה כשיוצרים נושא לייבוא:

המסוף

נכנסים לדף Topics במסוף Google Cloud .

לדף Topics
לוחצים על יצירת נושא.
דף הפרטים של הנושא נפתח.
בשדה Topic ID (מזהה הנושא), מזינים מזהה לנושא הייבוא.
מידע נוסף על מתן שמות לנושאים זמין בהנחיות למתן שמות.
בוחרים באפשרות הוספת מינוי ברירת מחדל.
בוחרים באפשרות הפעלת ההטמעה.
משאירים את שאר הגדרות ברירת המחדל.
לוחצים על יצירת נושא.

gcloud

מפעילים את Cloud Shell במסוף Google Cloud .

הפעלת Cloud Shell

בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.
כדי להפעיל יומני פלטפורמה, צריך לוודא שהדגל --ingestion-log-severity מוגדר ל-WARNING או לרמת חומרה נמוכה יותר, כמו INFO או DEBUG. מריצים את הפקודה gcloud pubsub topics create לנושא הרלוונטי שבו משתמשים:
לדוגמה, כדי להפעיל יומנים של פלטפורמה בנושא ייבוא של Cloud Storage, צריך לכלול את הדגל --ingestion-log-severity=WARNING בפקודה gcloud pubsub topics create.
```
gcloud pubsub topics create TOPIC_ID \
    --cloud-storage-ingestion-bucket=BUCKET_NAME \
    --cloud-storage-ingestion-input-format=INPUT_FORMAT \
    --ingestion-log-severity=WARNING
```

הפעלת יומני פלטפורמה במהלך עדכון של נושא ייבוא

כדי להפעיל את יומני הפלטפורמה כשמעדכנים נושא ייבוא:

המסוף

נכנסים לדף Topics במסוף Google Cloud .

לדף Topics
לוחצים על נושא הייבוא המתאים שבו אתם משתמשים (נושא ייבוא של Cloud Storage, נושא ייבוא של Azure Event Hubs, נושא ייבוא של Amazon MSK או נושא ייבוא של Confluent Cloud).
בדף הפרטים של הנושא, לוחצים על עריכה.
בוחרים באפשרות הפעלת יומני פלטפורמה.
לוחצים על עדכון.

gcloud

במסוף Google Cloud , מפעילים את Cloud Shell.

הפעלת Cloud Shell

בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.
כדי להפעיל את יומני הפלטפורמה, צריך לוודא שהערך של ingestion-log-severity מוגדר ל-WARNING או לרמת חומרה נמוכה יותר, כמו INFO או DEBUG. מריצים את הפקודה gcloud pubsub topics update עם כל הדגלים האפשריים שמציינים את ההגדרות של הנושא הרלוונטי שבו משתמשים:
- נושא הייבוא ב-Cloud Storage
  - כדי לא לאבד את ההגדרות של נושא הייבוא של Cloud Storage, חשוב להוסיף מחדש את אותם ערכים שהיו בפקודה המקורית create בכל פעם שמעדכנים את הנושא. אם לא תציינו משהו, המערכת של Pub/Sub תאפס את ההגדרה לערך ברירת המחדל.
- נושא הייבוא של Azure Event Hubs
- נושא לייבוא ב-Amazon MSK
- נושא הייבוא של Confluent Cloud
לדוגמה, כדי לעדכן את היומנים בנושא קיים של ייבוא מ-Cloud Storage, צריך לכלול את הדגל --ingestion-log-severity=WARNING בפקודה gcloud pubsub topics create, ולכלול את כל ערכי הדגלים האפשריים שמציינים הגדרות של נושא ייבוא מ-Cloud Storage.
```
gcloud pubsub topics update TOPIC_ID \
    --cloud-storage-ingestion-bucket=BUCKET_NAME \
    --cloud-storage-ingestion-input-format=INPUT_FORMAT \
    --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \
    --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \
    --cloud-storage-ingestion-match-glob=MATCH_GLOB
    --ingestion-log-severity=WARNING
```

השבתת יומני הפלטפורמה

כדי להשבית את יומני הפלטפורמה בנושא הייבוא הרלוונטי שבו אתם משתמשים:

המסוף

נכנסים לדף Topics במסוף Google Cloud .

מעבר אל "נושאים"
לוחצים על נושא הייבוא המתאים שבו אתם משתמשים (נושא ייבוא של Cloud Storage, נושא ייבוא של Azure Event Hubs, נושא ייבוא של Amazon MSK או נושא ייבוא של Confluent Cloud).
בדף הפרטים של הנושא, לוחצים על עריכה.
מבטלים את הסימון של הפעלת יומני פלטפורמה.
לוחצים על עדכון.

gcloud

במסוף Google Cloud , מפעילים את Cloud Shell.

הפעלת Cloud Shell

בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.
כדי להשבית את יומני הפלטפורמה, מוודאים שהערך של ingestion-log-severity הוא DISABLED. מריצים את הפקודה gcloud pubsub topics update עם כל הדגלים האפשריים שמציינים הגדרות לנושא הרלוונטי שבו אתם משתמשים:
- נושא הייבוא של Cloud Storage
  - כדי לא לאבד את ההגדרות של נושא הייבוא של Cloud Storage, חשוב להוסיף מחדש את אותם ערכים שהיו בפקודה המקורית create בכל פעם שמעדכנים את הנושא. אם תשמיטו משהו, Pub/Sub יאפס את ההגדרה לערך ברירת המחדל המקורי שלה.
- נושא ייבוא של Azure Event Hubs
- נושא לייבוא ב-Amazon MSK
- נושא הייבוא של Confluent Cloud
לדוגמה, כדי להשבית את היומנים בנושא קיים של ייבוא ל-Cloud Storage, צריך לכלול את הדגל --ingestion-log-severity=DISABLED בפקודה gcloud pubsub topics update ולכלול את כל הדגלים האפשריים שמציינים הגדרות לנושא ייבוא ל-Cloud Storage.
```
gcloud pubsub topics update TOPIC_ID \
    --cloud-storage-ingestion-bucket=BUCKET_NAME \
    --cloud-storage-ingestion-input-format=INPUT_FORMAT \
    --cloud-storage-ingestion-text-delimiter=TEXT_DELIMITER \
    --cloud-storage-ingestion-minimum-object-create-time=MINIMUM_OBJECT_CREATE_TIME \
    --cloud-storage-ingestion-match-glob=MATCH_GLOB
    --ingestion-log-severity=DISABLED
```

צפייה ביומני הפלטפורמה

כדי לראות את יומני הפלטפורמה של נושא הייבוא הרלוונטי שבו אתם משתמשים, מבצעים את הפעולות הבאות:

מסוף Google Cloud

במסוף Google Cloud , עוברים אל Logs Explorer.

כניסה לדף Logs Explorer
בוחרים פרויקט Google Cloud .
אם צריך, בתפריט Upgrade, עוברים מ-מציג היומנים מדור קודם ל-Logs Explorer.
לוחצים על המתג Show query.
כדי לסנן את היומנים כך שיוצגו רק הרשומות של נושאי הייבוא הרלוונטיים שבהם אתם משתמשים (נושא ייבוא של Cloud Storage, נושא ייבוא של Azure Event Hubs, נושא ייבוא של Amazon MSK או נושא ייבוא של Confluent Cloud), מקלידים "resource.type=pubsub_topic AND severity=WARNING" בשדה השאילתה ולוחצים על הפעלת השאילתה.
בחלונית Query results, לוחצים על Edit time כדי לשנות את התקופה שלגביה רוצים לקבל תוצאות.

למידע נוסף על השימוש ב-Logs Explorer, קראו את המאמר שימוש ב-Logs Explorer.

‫CLI של gcloud

כדי להשתמש ב-CLI של gcloud כדי לחפש יומנים של פלטפורמות בנושאי הייבוא שבהם אתם משתמשים, משתמשים בפקודה gcloud logging read.

מציינים מסנן כדי להגביל את התוצאות ליומני פלטפורמה של נושאי הייבוא הרלוונטיים שבהם אתם משתמשים (נושא ייבוא של Cloud Storage, נושא ייבוא של Azure Event Hubs, נושא ייבוא של Amazon MSK או נושא ייבוא של Confluent Cloud).

gcloud logging read "resource.type=pubsub_topic AND severity=WARNING"

Cloud Logging API

משתמשים ב-method ‏entries.list של Cloud Logging API.

כדי לסנן את התוצאות כך שיכללו רק יומני פלטפורמה בנושאים של ייבוא Cloud Storage, משתמשים בשדה filter. הדוגמה הבאה היא אובייקט בקשה ב-JSON.

{
"resourceNames":
  [
    "projects/my-project-name"
  ],
  "orderBy": "timestamp desc",
  "filter": "resource.type=\"pubsub_topic\" AND severity=WARNING"
}

הצגה והבנה של הפורמט של יומני הפלטפורמה

בקטע הבא מופיעות דוגמאות ליומני פלטפורמה ומתוארים השדות של יומני הפלטפורמה.

כל השדות הספציפיים ליומן הפלטפורמה נמצאים באובייקט jsonPayload.

Cloud Storage

כשל ב-Avro

{
  "insertId": "1xnzx8md4768",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "cloudStorageFailure": {
      "objectGeneration": "1661148924738910",
      "bucket": "bucket_in_avro_format",
      "objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
      "avroFailureReason": {}
    },
    "topic": "projects/my-project/topics/avro_bucket_topic",
    "errorMessage": "Unable to parse the header of the object. The object won't be ingested."
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "project_id": "my-project",
      "topic_id": "avro_bucket_topic"
    }
  },
  "timestamp": "2024-10-07T18:55:45.650103193Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2024-10-07T18:55:46.678221398Z"
}

שדה ביומן	תיאור
`insertId`	מזהה ייחודי של רשומת היומן.
`jsonPayload.@type`	מזהה את סוג האירוע. תמיד `type.googleapis.com/google.pubsub.v1.IngestionFailureEvent`.
`jsonPayload.cloudStorageFailure.objectGeneration`	מספר הדור של האובייקט ב-Cloud Storage.
`jsonPayload.cloudStorageFailure.bucket`	הקטגוריה של Cloud Storage שמכילה את האובייקט.
`jsonPayload.cloudStorageFailure.objectName`	השם של האובייקט ב-Cloud Storage.
`jsonPayload.cloudStorageFailure.avroFailureReason`	מכיל פרטים ספציפיים יותר על שגיאת ניתוח Avro. השדה הזה נשאר ריק.
`jsonPayload.topic`	נושא ה-Pub/Sub שההודעה יועדה לו.
`jsonPayload.errorMessage`	הודעת שגיאה שקריאה לאנשים.
`resource.type`	סוג המשאב. תמיד `pubsub_topic`.
`resource.labels.project_id`	מזהה הפרויקט Google Cloud .
`resource.labels.topic_id`	מזהה הנושא ב-Pub/Sub.
`timestamp`	חותמת הזמן של יצירת הרשומה ביומן.
`severity`	רמת החומרה היא `WARNING`.
`logName`	שם היומן.
`receiveTimestamp`	חותמת הזמן שבה התקבל רשומה ביומן.

כשל בטקסט

{
  "insertId": "1kc4puoag",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "cloudStorageFailure": {
      "bucket": "bucket_in_text_format",
      "apiViolationReason": {},
      "objectName": "counts/taxi-2022-08-15T06:10:00.000Z-2022-08-15T06:15:00.000Z-pane-0-last-00-of-01",
      "objectGeneration": "1727990048026758"
    },
    "topic": "projects/my-project/topics/large_text_bucket_topic",
    "errorMessage": "The message has exceeded the maximum allowed size of 10000000 bytes. The message won't be published."
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "large_text_bucket_topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2024-10-09T14:09:07.760488386Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2024-10-09T14:09:08.483589656Z"
}

שדה ביומן	תיאור
`insertId`	מזהה ייחודי של רשומת היומן.
`jsonPayload.@type`	מזהה את סוג האירוע. תמיד `type.googleapis.com/google.pubsub.v1.IngestionFailureEvent`.
`jsonPayload.cloudStorageFailure.objectGeneration`	מספר הדור של האובייקט ב-Cloud Storage.
`jsonPayload.cloudStorageFailure.bucket`	הקטגוריה של Cloud Storage שמכילה את האובייקט.
`jsonPayload.cloudStorageFailure.objectName`	השם של האובייקט ב-Cloud Storage.
`jsonPayload.cloudStorageFailure.apiViolationReason`	מכיל פרטים על הפרת ה-API. השדה הזה נשאר ריק.
`jsonPayload.topic`	הנושא ב-Pub/Sub.
`jsonPayload.errorMessage`	הודעה שקריאה לאנשים.
`resource.type`	סוג המשאב, תמיד `pubsub_topic`.
`resource.labels.project_id`	מזהה הפרויקט (Google Cloud ).
`resource.labels.topic_id`	מזהה נושא Pub/Sub.
`timestamp`	חותמת הזמן של יצירת רשומת היומן.
`severity`	רמת החומרה היא `WARNING`.
`logName`	שם היומן.
`receiveTimestamp`	השעה שבה רשומת היומן התקבלה ב-Cloud Logging.

Amazon MSK

הפרת מדיניות בנושא API

  {
  "insertId": "k3breb2q",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "awsMskFailure": {
      "apiViolationReason": {},
      "clusterArn": "arn:aws:kafka:us-east-1:291552718126:cluster/cluster-ingestion/abb9faea-4070-4eb76-9c21-f98abca92eaf-2",
      "kafkaTopic": "msk-topic",
      "partitionId": "1",
      "offset": "11"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/msk-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "msk-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T16:18:16.241643258Z"
}

שדה ביומן	תיאור
`insertId`	מזהה ייחודי של רשומת היומן.
`jsonPayload.@type`	מזהה את סוג האירוע. תמיד `type.googleapis.com/google.pubsub.v1.IngestionFailureEvent`.
`jsonPayload.awsMskFailure.clusterArn`	מספר ה-ARN של אשכול הנושא שמתבצעת ממנו הטמעה.
`jsonPayload.awsMskFailure.kafkaTopic`	השם של נושא Kafka שממנו מתבצעת ההטמעה.
`jsonPayload.awsMskFailure.partitionId`	המזהה של המחיצה שמכילה את ההודעה שההטמעה שלה נכשלה.
`jsonPayload.awsMskFailure.offset`	ההיסט בתוך המחיצה של ההודעה שלא נקלטה.
`jsonPayload.awsMskFailure.apiViolationReason`	מכיל פרטים על הפרת מדיניות ה-API. השדה הזה נשאר ריק.
`jsonPayload.topic`	הנושא ב-Pub/Sub.
`jsonPayload.errorMessage`	הודעה שקריאה לאנשים.
`resource.type`	סוג המשאב, תמיד `pubsub_topic`.
`resource.labels.project_id`	מזהה הפרויקטGoogle Cloud .
`resource.labels.topic_id`	מזהה נושא Pub/Sub.
`timestamp`	חותמת הזמן של יצירת רשומת היומן.
`severity`	רמת החומרה היא `WARNING`.
`logName`	שם היומן.
`receiveTimestamp`	השעה שבה רשומת היומן התקבלה על ידי Cloud Logging.

Azure Event Hubs

הפרת מדיניות בנושא API

{
  "insertId": "i1fbqnb12",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "azureEventHubsFailure": {
      "apiViolationReason": {},
      "namespace": "my-namespace",
      "eventHub": "my-event-hub",
      "partitionId": "1",
      "offset": "15"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/event-hubs-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "event-hubs-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T14:05:12.338211450Z"
}

שדה ביומן	תיאור
`insertId`	מזהה ייחודי של רשומת היומן.
`jsonPayload.@type`	מזהה את סוג האירוע. תמיד `type.googleapis.com/google.pubsub.v1.IngestionFailureEvent`.
`jsonPayload.azureEventHubsFailure.namespace`	מרחב השמות שמכיל את מרכז האירועים שממנו מתבצעת ההעברה.
`jsonPayload.azureEventHubsFailure.eventHub`	השם של מרכז האירועים שממנו מתבצעת ההעברה.
`jsonPayload.azureEventHubsFailure.partitionId`	המזהה של המחיצה שמכילה את ההודעה שההטמעה שלה נכשלה.
`jsonPayload.azureEventHubsFailure.offset`	ההיסט בתוך המחיצה של ההודעה שלא נקלטה.
`jsonPayload.azureEventHubsFailure.apiViolationReason`	מכיל פרטים על הפרת מדיניות ה-API. השדה הזה נשאר ריק.
`jsonPayload.topic`	הנושא ב-Pub/Sub.
`jsonPayload.errorMessage`	הודעה שקריאה לאנשים.
`resource.type`	סוג המשאב, תמיד `pubsub_topic`.
`resource.labels.project_id`	מזהה הפרויקטGoogle Cloud .
`resource.labels.topic_id`	מזהה נושא Pub/Sub.
`timestamp`	חותמת הזמן של יצירת רשומת היומן.
`severity`	רמת החומרה היא `WARNING`.
`logName`	שם היומן.
`receiveTimestamp`	השעה שבה רשומת היומן התקבלה על ידי Cloud Logging.

Confluent Cloud

כשל בטקסט

{
  "insertId": "i1fbqnb14",
  "jsonPayload": {
    "@type": "type.googleapis.com/google.pubsub.v1.IngestionFailureEvent",
    "confluentCloudFailure": {
      "apiViolationReason": {},
      "clusterId": "lma-1x18ae",
      "kafkaTopic": "confluent-topic",
      "partitionId": "1",
      "offset": "19"
    },
    "errorMessage": "The value of an attribute in the message exceeded the maximum allowed size of 1024 bytes. Number of bytes in the value: 1025. Key: my header. Value: my very large value …",
    "topic": "projects/my-project/topics/confluent-import-topic"
  },
  "resource": {
    "type": "pubsub_topic",
    "labels": {
      "topic_id": "confluent-import-topic",
      "project_id": "my-project"
    }
  },
  "timestamp": "2025-02-03T16:18:14.693357960Z",
  "severity": "WARNING",
  "logName": "projects/my-project/logs/pubsub.googleapis.com%2Fingestion_failures",
  "receiveTimestamp": "2025-02-03T17:03:11.428221440Z"
}

שדה ביומן	תיאור
`insertId`	מזהה ייחודי של רשומת היומן.
`jsonPayload.@type`	מזהה את סוג האירוע. תמיד `type.googleapis.com/google.pubsub.v1.IngestionFailureEvent`.
`jsonPayload.confluentCloudFailure.clusterId`	מזהה האשכול שמכיל את הנושא שממנו מתבצעת ההטמעה.
`jsonPayload.confluentCloudFailure.kafkaTopic`	השם של נושא Kafka שממנו מתבצעת ההטמעה.
`jsonPayload.confluentCloudFailure.partitionId`	המזהה של המחיצה שמכילה את ההודעה שההטמעה שלה נכשלה.
`jsonPayload.confluentCloudFailure.offset`	ההיסט בתוך המחיצה של ההודעה שלא נקלטה.
`jsonPayload.confluentCloudFailure.apiViolationReason`	מכיל פרטים על הפרת מדיניות ה-API. השדה הזה נשאר ריק.
`jsonPayload.topic`	הנושא ב-Pub/Sub.
`jsonPayload.errorMessage`	הודעה שקריאה לאנשים.
`resource.type`	סוג המשאב, תמיד `pubsub_topic`.
`resource.labels.project_id`	מזהה הפרויקט ב-Google Cloud.
`resource.labels.topic_id`	מזהה הנושא ב-Pub/Sub.
`timestamp`	חותמת הזמן של יצירת רשומת היומן.
`severity`	רמת החומרה היא `WARNING`.
`logName`	שם היומן.
`receiveTimestamp`	הזמן שבו רשומת היומן התקבלה ב-Cloud Logging.

‫Apache Kafka®‎ הוא סימן מסחרי רשום של The Apache Software Foundation או של השותפים העצמאיים שלה בארצות הברית או במדינות אחרות.

שימוש ביומני הפלטפורמה לפתרון בעיות שקשורות לייבוא נושאים קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

מידע על יומני פלטפורמה

לפני שמתחילים

תפקידים והרשאות נדרשים

מידע על כשלים בהוספת נושאים לייבוא

נושאים שקשורים לייבוא ב-Cloud Storage

נושאים לייבוא מ-Azure Event Hubs,‏ Amazon MSK ו-Confluent Cloud

הפעלת יומני פלטפורמה

הפעלת יומני פלטפורמה במהלך יצירת נושא ייבוא

המסוף

gcloud

הפעלת יומני פלטפורמה במהלך עדכון של נושא ייבוא

המסוף

gcloud

השבתת יומני הפלטפורמה

המסוף

gcloud

צפייה ביומני הפלטפורמה

מסוף Google Cloud

‫CLI של gcloud

Cloud Logging API

הצגה והבנה של הפורמט של יומני הפלטפורמה

Cloud Storage

כשל ב-Avro

כשל בטקסט

Amazon MSK

הפרת מדיניות בנושא API

Azure Event Hubs

הפרת מדיניות בנושא API

Confluent Cloud

כשל בטקסט

שימוש ביומני הפלטפורמה לפתרון בעיות שקשורות לייבוא נושאים