פתרון בעיות בהטמעת נתונים ב-Ops Agent

מסמך זה מספק מידע שיעזור לכם לאבחן ולפתור בעיות בהטמעת נתונים, עבור יומנים ומדדים, ב-סוכן תפעול שפועל. אם Ops Agent לא פועל, קראו את המאמר פתרון בעיות בהתקנה ובהפעלה.

לפני שמתחילים

לפני שמנסים לפתור בעיה, צריך לבדוק את הסטטוס של בדיקות התקינות של הסוכן.

במסוףGoogle Cloud מוצג שההתקנה של סוכן תפעול תקועה בסטטוס Pending (בהמתנה)

גם אחרי שהתקנתם את סוכן התפעול, יכול להיות שבמסוף Google Cloud עדיין יופיע הסטטוס Pending. משתמשים ב-gcpdiag כדי לוודא ש-Ops Agent הותקן ושהוא מעביר יומנים ומדדים ממכונת ה-VM.

סיבות נפוצות לכשל בהתקנה

יכול להיות שההתקנה של סוכן התפעול תיכשל מהסיבות הבאות:

סיבות נפוצות לכשלים בהעברת נתוני טלמטריה

אם סוכן Ops מותקן ופועל, יכול להיות שהוא לא ישלח יומנים, מדדים או את שניהם ממכונה וירטואלית מהסיבות הבאות:

כדי לזהות את שורש הבעיה ואת הפתרון המתאים, אפשר להשתמש בבדיקות תקינות של הנציג.

הסוכן פועל, אבל הנתונים לא נקלטים

משתמשים ב-Metrics Explorer כדי לשלוח שאילתה למדד uptime של הסוכן, ומוודאים שרכיב הסוכן, google-cloud-ops-agent-metrics או google-cloud-ops-agent-logging, כותב למדד.

  1. נכנסים לדף  Metrics explorer במסוף Google Cloud :

    נכנסים לדף Metrics Explorer.

    אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה שכותרת המשנה שלה היא Monitoring.

  2. במתג Builder Code, בוחרים באפשרות Code ומגדירים את השפה ל-PromQL.
  3. מזינים את השאילתה הבאה ולוחצים על Run:

    rate({"__name__"="agent.googleapis.com/agent/uptime", monitored_resource="gce_instance"}[1m])
    

האם הסוכן שולח יומנים ל-Cloud Logging?

אם הסוכן פועל אבל לא שולח יומנים, צריך לבדוק את הסטטוס של בדיקות התקינות של הסוכן בזמן הריצה.

צינורות עיבוד נתונים משודרגים של רישום ביומן

החל מגרסה 2.66.0 של סוכן תפעול, פייפליין רישום ברירת המחדל ביומן מטופל על ידי שירות Metrics Agent במקום שירות סוכן Logging. החל מגרסה 2.72.0 של Ops Agent, כל צינורות עיבוד הנתונים הנתמכים של רישום ביומן מטופלים על ידי שירות Metrics Agent. אם פייפליינים של רישום ביומן לא פועלים כמו שצריך, אתם יכולים לנסות לחזור לשירות הישן של סוכן Logging על ידי עדכון ההגדרות:

logging:
  service:
    experimental_otel_logging: false

ההגדרה הזו תוסר בסופו של דבר, אז אם אתם צריכים לחזור לגרסה הקודמת, פנו ל-Cloud Customer Care כדי לדווח על הבעיה.

שגיאות בצינור עיבוד הנתונים

אם מופיעה שגיאת זמן הריצה LogPipelineErr ("Ops Agent logging pipeline failed"), סימן שסוכן המשנה של Logging נתקל בבעיה בכתיבת היומנים. בודקים את התנאים הבאים:

  • מוודאים שאפשר לגשת לקובצי האחסון של סוכן המשנה של Logging. הקבצים האלה נמצאים במיקומים הבאים:
    • ‫Linux:‏ /var/lib/google-cloud-ops-agent/fluent-bit/buffers/
    • ב-Windows:‏ C:\Program Files\Google\Cloud Operations\Ops Agent\run\buffers\‎
  • מוודאים שהדיסק של ה-VM לא מלא.
  • מוודאים שהגדרת הרישום ביומן נכונה.

כדי לבצע את השלבים האלה, צריך להיכנס ל-VM באמצעות SSH.

אם משנים את הגדרות הרישום ביומן, או אם קובצי המאגר נגישים והדיסק של ה-VM לא מלא, צריך להפעיל מחדש את סוכן תפעול:

Linux

  1. כדי להפעיל מחדש את הסוכן, מריצים את הפקודה הבאה במכונה:
    sudo systemctl restart google-cloud-ops-agent
    
  2. כדי לוודא שהסוכן הופעל מחדש, מריצים את הפקודה הבאה ובודקים שהרכיבים Metrics Agent ו-סוכן Logging הופעלו:
    sudo systemctl status "google-cloud-ops-agent*"
    

Windows

  1. מתחברים למכונה באמצעות RDP או כלי דומה ומתחברים ל-Windows.
  2. פותחים טרמינל ב-PowerShell עם הרשאות אדמין: לוחצים לחיצה ימנית על הסמל של PowerShell ובוחרים באפשרות Run as Administrator.
  3. כדי להפעיל מחדש את הסוכן, מריצים את הפקודה הבאה ב-PowerShell:
    Restart-Service google-cloud-ops-agent -Force
    
  4. כדי לוודא שהסוכן הופעל מחדש, מריצים את הפקודה הבאה ובודקים שהרכיבים Metrics Agent ו-סוכן Logging הופעלו:
    Get-Service google-cloud-ops-agent*
    

שגיאות בניתוח יומנים

אם מופיעה שגיאת זמן הריצה LogParseErr ("סוכן תפעול נכשל בניתוח יומנים"), כנראה שהבעיה היא בהגדרה של מעבד רישום ביומן. כדי לפתור את הבעיה:

כדי לבצע את השלבים האלה, צריך להיכנס ל-VM באמצעות SSH.

אם משנים את הגדרות הרישום ביומן, צריך להפעיל מחדש את סוכן התפעול:

Linux

  1. כדי להפעיל מחדש את הסוכן, מריצים את הפקודה הבאה במכונה:
    sudo systemctl restart google-cloud-ops-agent
    
  2. כדי לוודא שהסוכן הופעל מחדש, מריצים את הפקודה הבאה ובודקים שהרכיבים Metrics Agent ו-סוכן Logging הופעלו:
    sudo systemctl status "google-cloud-ops-agent*"
    

Windows

  1. מתחברים למכונה באמצעות RDP או כלי דומה ומתחברים ל-Windows.
  2. פותחים טרמינל ב-PowerShell עם הרשאות אדמין: לוחצים לחיצה ימנית על הסמל של PowerShell ובוחרים באפשרות Run as Administrator.
  3. כדי להפעיל מחדש את הסוכן, מריצים את הפקודה הבאה ב-PowerShell:
    Restart-Service google-cloud-ops-agent -Force
    
  4. כדי לוודא שהסוכן הופעל מחדש, מריצים את הפקודה הבאה ובודקים שהרכיבים Metrics Agent ו-סוכן Logging הופעלו:
    Get-Service google-cloud-ops-agent*
    

בדיקת המדדים המקומיים

כדי לבצע את השלבים האלה, צריך להיכנס ל-VM באמצעות SSH.

  • האם מודול הרישום ביומן פועל? כדי לבדוק, משתמשים בפקודות הבאות:

Linux

sudo systemctl status google-cloud-ops-agent"*"

Windows

פותחים את Windows PowerShell כאדמין ומריצים את הפקודה:

Get-Service google-cloud-ops-agent

אפשר גם לבדוק את סטטוס השירות באפליקציה Services ולבדוק את התהליכים שפועלים באפליקציה Task Manager.

בדיקת היומן של מודול הרישום ביומן

בשלב הזה צריך להיכנס למכונה הווירטואלית באמצעות SSH.

אפשר למצוא את היומנים של מודול הרישום ביומן ב-/var/log/google-cloud-ops-agent/subagents/*.log ב-Linux וב-C:\ProgramData\Google\Cloud Operations\Ops Agent\log\logging-module.log ב-Windows. אם אין יומנים, שירות הסוכן לא פועל כמו שצריך. קודם צריך לעבור לקטע ה-Agent מותקן אבל לא פועל כדי לתקן את הבעיה.

  • יכול להיות שיופיעו שגיאות הרשאה מסוג 403 כשכותבים ב-Logging API. לדוגמה:

    [2020/10/13 18:55:09] [ warn] [output:stackdriver:stackdriver.0] error
    {
    "error": {
      "code": 403,
      "message": "Cloud Logging API has not been used in project 147627806769 before or it is disabled. Enable it by visiting https://console.developers.google.com/apis/api/logging.googleapis.com/overview?project=147627806769 then retry. If you enabled this API recently, wait a few minutes for the action to propagate to our systems and retry.",
      "status": "PERMISSION_DENIED",
      "details": [
        {
          "@type": "type.googleapis.com/google.rpc.Help",
          "links": [
            {
              "description": "Google developers console API activation",
              "url": "https://console.developers.google.com/apis/api/logging.googleapis.com/overview?project=147627806769"
            }
          ]
        }
      ]
    }
    }
    

    כדי לפתור את השגיאה, מפעילים את Logging API ומגדירים את התפקיד כותב יומנים.

  • יכול להיות שתופיע בעיה במכסה של Logging API. לדוגמה:

    error="8:Insufficient tokens for quota 'logging.googleapis.com/write_requests' and limit 'WriteRequestsPerMinutePerProject' of service 'logging.googleapis.com' for consumer 'project_number:648320274015'." error_code="8"
    

    כדי לתקן את השגיאה הזו, צריך להגדיל את המכסה או להקטין את קצב העברת הנתונים של היומן.

  • יכול להיות שתראו את השגיאות הבאות ביומן המודול:

    {"error":"invalid_request","error_description":"Service account not enabled on this instance"}
    

    או

    can't fetch token from the metadata server
    

    השגיאות האלה יכולות להצביע על כך שפרסתם את הסוכן בלי חשבון שירות או פרטי כניסה שצוינו. למידע על פתרון הבעיה, קראו את המאמר מתן הרשאה ל-Ops Agent.

האם הסוכן שולח מדדים ל-Cloud Monitoring?

בדיקת היומן של מודול המדדים

בשלב הזה צריך להיכנס למכונה הווירטואלית באמצעות SSH.

היומנים של מודול המדדים נמצאים ב-syslog. אם אין יומנים, סימן ששירות הסוכן לא פועל כמו שצריך. קודם צריך לעבור לקטע ה-Agent מותקן אבל לא פועל כדי לתקן את הבעיה.

  • יכול להיות שיופיעו שגיאות PermissionDenied כשכותבים ל-Monitoring API. השגיאה הזו מתרחשת אם ההרשאה ל-Ops Agent לא מוגדרת כמו שצריך. לדוגמה:

    Nov  2 14:51:27 test-ops-agent-error otelopscol[412]: 2021-11-02T14:51:27.343Z#011info#011exporterhelper/queued_retry.go:231#011Exporting failed. Will retry the request after interval.#011{"kind": "exporter", "name": "googlecloud", "error": "[rpc error: code = PermissionDenied desc = Permission monitoring.timeSeries.create denied (or the resource may not exist).; rpc error: code = PermissionDenied desc = Permission monitoring.timeSeries.create denied (or the resource may not exist).]", "interval": "6.934781228s"}
    

    כדי לתקן את השגיאה, מפעילים את Monitoring API ומגדירים את התפקיד Monitoring Metric Writer.

  • יכול להיות שיופיעו שגיאות ResourceExhausted כשכותבים ל-Monitoring API. השגיאה הזו מתרחשת אם הפרויקט מגיע למגבלה של אחת מהמכסות של Monitoring API. לדוגמה:

    Nov  2 18:48:32 test-ops-agent-error otelopscol[441]: 2021-11-02T18:48:32.175Z#011info#011exporterhelper/queued_retry.go:231#011Exporting failed. Will retry the request after interval.#011{"kind": "exporter", "name": "googlecloud", "error": "rpc error: code = ResourceExhausted desc = Quota exceeded for quota metric 'Total requests' and limit 'Total requests per minute per user' of service 'monitoring.googleapis.com' for consumer 'project_number:8563942476'.\nerror details: name = ErrorInfo reason = RATE_LIMIT_EXCEEDED domain = googleapis.com metadata = map[consumer:projects/8563942476 quota_limit:DefaultRequestsPerMinutePerUser quota_metric:monitoring.googleapis.com/default_requests service:monitoring.googleapis.com]", "interval": "2.641515416s"}
    

    כדי לפתור את השגיאה, צריך להגדיל את המכסה או להקטין את קצב העברת הנתונים של המדדים.

  • יכול להיות שתראו את השגיאות הבאות ביומן המודול:

    {"error":"invalid_request","error_description":"Service account not enabled on this instance"}
    

    או

    can't fetch token from the metadata server
    

    השגיאות האלה יכולות להצביע על כך שפרסתם את הסוכן בלי חשבון שירות או פרטי כניסה שצוינו. למידע על פתרון הבעיה, קראו את המאמר מתן הרשאה ל-Ops Agent.

בעיות בחיבור לרשת

אם הסוכן פועל אבל לא שולח יומנים או מדדים, יכול להיות שיש בעיה ברשת. סוגי הבעיות בקישוריות לרשת שבהן אתם עלולים להיתקל משתנים בהתאם לטופולוגיה של האפליקציה. לסקירה כללית על רשתות של Compute Engine, ראו סקירה כללית על רשתות של מכונות וירטואליות.

הסיבות הנפוצות לבעיות בקישוריות כוללות:

‫סוכן תפעול מריץ בדיקות תקינות שמזהות שגיאות בחיבור לרשת. במסמכי התיעוד של בדיקות התקינות מפורטות הצעות לפעולות שאפשר לבצע במקרה של שגיאות בקישוריות.

הסבר על הודעות השגיאה "failed to flush chunk" (הניקוי של המקטע נכשל)

החל מגרסה 2.28.0 של Ops Agent, הסוכן מגביל את נפח האחסון שהוא יכול להשתמש בו כדי לאחסן קטעי מאגר נתונים זמני. ‫סוכן תפעול יוצר מקטעי מאגר נתונים זמני כשאי אפשר לשלוח נתוני רישום ביומן ל-Cloud Logging API. בלי מגבלה, יכול להיות שהנתחים האלה יצרכו את כל המקום הפנוי ויפריעו לשירותים אחרים ב-VM. כשהפסקת חשמל ברשת גורמת לכתיבת מקטעי מאגר נתונים זמני בדיסק, סוכן תפעול משתמש במקום בכונן ספציפי לפלטפורמה כדי לאחסן את המקטעים. הודעה כמו בדוגמה הבאה מופיעה גם ב-/var/log/google-cloud-ops-agent/subagents/logging-module.log במכונות וירטואליות של Linux או ב-C:\ProgramData\Google\Cloud Operations\Ops Agent\log\logging-module.log במכונות וירטואליות של Windows, כשהמכונה הווירטואלית לא יכולה לשלוח את מקטעי המאגר ל-Cloud Logging API:

[2023/04/15 08:21:17] [warn] [engine] failed to flush chunk

בעיות ב-Proxy ל-HTTP

בעיה בהגדרת שרת ה-proxy ל-HTTP עלולה לגרום לשגיאות. לדוגמה, שגיאות מ-flb_upstream עם המונח context מצביעות על בעיה בהגדרת שרת ה-proxy:

[2024/03/25 12:21:51] [error] [C:\work\submodules\fluent-bit\src\flb_upstream.c:281 errno=2] No such file or directory
[2024/03/25 12:21:51] [error] [upstream] error creating context from URL: https://oauth2.googleapis.com/token
[2024/03/25 12:21:51] [error] [oauth2] error creating upstream context

כדי לפתור את הבעיה, צריך לוודא שהגדרתם נכון את שרת ה-Proxy ל-HTTP. במאמר הגדרת שרת proxy ל-HTTP מוסבר איך להגדיר את שרת ה-proxy ל-HTTP.

למפרטים של פורמט שרת proxy ל-HTTP, קראו את המדריך הרשמי של Fluent Bit.

בדיקת TLS בשרת proxy יוצא

אם שרת proxy או חומת אש של תנועה יוצאת מבצעים בדיקת TLS בתעבורת נתונים אל *.googleapis.com באמצעות אישור CA בהתאמה אישית שה-VM לא נותן בו אמון, לחיצות יד בפרוטוקול TLS נכשלות. ביומנים של סוכן המשנה מתועדות שגיאות של אישורים כמו x509: certificate signed by unknown authority, והטלמטריה מפסיקה להגיע ל-Cloud Logging ול-Cloud Monitoring.

במהלך כשלים מתמשכים בייצוא, קבוצות של ניסיונות חוזרים בתור יכולות להצטבר בזיכרון בתהליך otelopscol ולהגדיל את השימוש בזיכרון במכונה הווירטואלית. החל מגרסה 2.66.0 של Ops Agent, התהליך otelopscol מטפל בצינור עיבוד הנתונים של רישום ברירת המחדל ביומן, והחל מגרסה 2.72.0 הוא מטפל בכל צינורות עיבוד הנתונים הנתמכים של רישום ביומן.

כדי לבדוק אם שרת proxy יוצא מיירט חיבורי TLS ממכונה וירטואלית של Linux, מריצים את הפקודה openssl s_client כדי לבדוק את שרשרת האישורים של logging.googleapis.com:

echo | openssl s_client -connect logging.googleapis.com:443 \
  -servername logging.googleapis.com

אם המכונה הווירטואלית מנתבת תנועה דרך שרת proxy מפורש ל-HTTP, צריך לכלול את הדגל -proxy:

echo | openssl s_client -proxy PROXY_HOST:PROXY_PORT \
  -connect logging.googleapis.com:443 -servername logging.googleapis.com

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROXY_HOST: שם המארח או כתובת ה-IP של שרת ה-proxy ל-HTTP.
  • ‫PROXY_PORT: מספר היציאה של שרת ה-proxy ל-HTTP.

אם הערך של השדה issuer של האישור הוא רשות האישורים של שרת ה-proxy או חומת האש במקום Google Trust Services, והערך של Verify return code הוא לא אפס, בדיקת ה-TLS פעילה.

כדי לפתור את הבעיה, מבצעים אחת מהפעולות הבאות ואז מפעילים מחדש את סוכן התפעול:

  • מגדירים את שרת ה-proxy או את חומת האש לתעבורה יוצאת כך שיעקפו את בדיקת ה-TLS של *.googleapis.com, כולל logging.googleapis.com, monitoring.googleapis.com, telemetry.googleapis.com ו-oauth2.googleapis.com.
  • מתקינים את אישור ה-CA הבסיסי של שרת ה-Proxy במאגר האישורים המהימנים של המכונה הווירטואלית.

אני רוצה לאסוף רק מדדים או רק יומנים, לא את שניהם

כברירת מחדל, סוכן תפעול אוסף גם מדדים וגם יומנים. כדי להשבית את האיסוף של מדדים או יומנים, משתמשים בקובץ config.yaml של סוכן תפעול כדי לשנות את ברירת המחדל של השירות logging או metrics, כך שלצינור עיבוד הנתונים שמוגדר כברירת מחדל לא יהיו מקלטים. מידע נוסף:

אם תפסיקו את הטמעת הנתונים על ידי השבתת שירותי סוכן המשנה של סוכן תפעול, ‏"סוכן Logging" או "Metrics Agent", התוצאה תהיה הגדרה לא חוקית והיא לא נתמכת.

המדדים נאספים, אבל נראה שיש בעיה

בקטע הזה מתוארים כמה מצבי שגיאה נפוצים.

הסוכן מתעד את השגיאה "Exporting failed. הודעות מסוג "יתבצע ניסיון נוסף"

רשומות ביומן עם ההודעה "Exporting failed" מופיעות כשנקודה על הגרף הראשונה של מדד מצטבר נמחקת. היומנים הבאים לא מזיקים ואפשר להתעלם מהם:

Jul 13 17:28:03 debian9-trouble otelopscol[2134]: 2021-07-13T17:28:03.092Z        info        exporterhelper/queued_retry.go:316        Exporting failed. Will retry the request a
fter interval.        {"kind": "exporter", "name": "googlecloud/agent", "error": "rpc error: code = InvalidArgument desc = Field timeSeries[1].points[0].interval.start_time had a
n invalid value of \"2021-07-13T10:25:18.061-07:00\": The start time must be before the end time (2021-07-13T10:25:18.061-07:00) for the non-gauge metric 'agent.googleapis.com/ag
ent/uptime'.", "interval": "23.491024535s"}
Jul 13 17:28:41 debian9-trouble otelopscol[2134]: 2021-07-13T17:28:41.269Z        info        exporterhelper/queued_retry.go:316        Exporting failed. Will retry the request a
fter interval.        {"kind": "exporter", "name": "googlecloud/agent", "error": "rpc error: code = InvalidArgument desc = Field timeSeries[0].points[0].interval.start_time had a
n invalid value of \"2021-07-13T10:26:18.061-07:00\": The start time must be before the end time (2021-07-13T10:26:18.061-07:00) for the non-gauge metric 'agent.googleapis.com/ag
ent/monitoring/point_count'.", "interval": "21.556591578s"}

הסוכן מתעד הודעות מסוג "TimeSeries could not be written: Points must be written in order."‎

אם שדרגתם ל-Ops Agent מסוכן Monitoring הקודם, ומופיעה הודעת השגיאה הבאה כשאתם כותבים מדדים מצטברים, הפתרון הוא להפעיל מחדש את ה-VM. ‫סוכן תפעול ו-Monitoring Agent מחשבים את שעות ההתחלה של מדדים מצטברים באופן שונה, מה שעלול לגרום לנקודות להופיע בסדר לא נכון. הפעלה מחדש של ה-VM מאפסת את שעת ההתחלה ופותרת את הבעיה.

Jun 2 14:00:06 * otelopscol[4035]: 2023-06-02T14:00:06.304Z#011error#011exporterhelper/queued_retry.go:367#011Exporting failed.
Try enabling retry_on_failure config option to retry on retryable errors#011{"error": "failed to export time series to GCM: rpc error: code = InvalidArgument desc =
One or more TimeSeries could not be written: Points must be written in order. One or more of the points specified had an older start time than the most recent point.:
gce_instance{instance_id:*,zone:*} timeSeries[0-199]: agent.googleapis.com/memory/bytes_used{state:slab}

הסוכן רושם ביומן "נקודה אחת או יותר נכתבו בתדירות גבוהה יותר מתקופת הדגימה המקסימלית"

אם משתמשים באותו מקלט בכמה פייפליינים בהגדרות של סוכן תפעול, המדדים שנאספים על ידי המקלט הזה נשלחים על ידי כל פייפליין שמשתמש במקלט. ההגדרה הזו יכולה לגרום לשכפול של מדדים, וכתוצאה מכך לשגיאות ביומנים מסוג "points were written more frequently than the maximum sampling period":

Jan 26 11:11:06 * otelopscol[1234]: 2026-01-26T11:11:06.665Z#011error#011exporterhelper/queued_retry.go:367#011Exporting failed. Dropping data.
{"error": "failed to export metrics to projects/*: rpc error: code = InvalidArgument desc = One or more TimeSeries could not be written:
timeSeries[...] (... metric.type=\"agent.googleapis.com/cpu/utilization\", ... resource.type=\"gce_instance\", ...):
write for resource failed: One or more points were written more frequently than the maximum sampling period configured for the metric."}

שכפול מדדים מתרחש לעיתים קרובות כשמוסיפים מקלט לצינור עיבוד נתונים חדש שכבר נמצא בשימוש בהגדרת ברירת המחדל המובנית של סוכן תפעול. יכול להיות שלא תשימו לב שהמקלט כבר בשימוש, כי הגדרת ברירת המחדל לא מוצגת באופן מפורש בקובץ config.yaml. כשיוצרים צינורות עיבוד נתונים חדשים, כדאי לעיין במסמכי התיעוד של הגדרת ברירת המחדל של Ops Agent כדי לראות באילו מקלטים נעשה שימוש בצינורות עיבוד הנתונים שמוגדרים כברירת מחדל. לדוגמה, המקלט hostmetrics מופעל כברירת מחדל ב-default_pipeline. אם יוצרים ומפעילים צינור עיבוד נתונים חדש שמשתמש גם במקלט hostmetrics ב-config.yaml, המדדים מ-hostmetrics נשלחים פעמיים כי המקלט נמצא עכשיו בשימוש בשני צינורות עיבוד נתונים.

כדי לפתור את הבעיה, צריך למנוע שכפול של מדדים על ידי כך שמוודאים שאותו מקלט לא משמש בכמה צינורות עיבוד נתונים שכותבים ב-Cloud Monitoring. כדי לעשות את זה, אתם יכולים להסיר את המקלט מהצינור שהגדרתם, או לשנות את default_pipeline כדי להסיר ממנו את המקלט.

הסוכן מתעד הודעות מסוג "האסימון חייב להיות אסימון לטווח קצר (60 דקות) ובמסגרת זמן סבירה"

אם הודעת השגיאה הבאה מופיעה כשהסוכן כותב מדדים, סימן ששעון המערכת לא מסונכרן כמו שצריך:

Invalid JWT: Token must be a short-lived token (60 minutes) and in a
reasonable timeframe. Check your iat and exp values in the JWT claim.

מידע נוסף על סנכרון שעוני המערכת זמין במאמר הגדרת NTP במכונה וירטואלית.

הסוכן מתעד את ההודעה "metrics receiver with type "nvml" is not supported"

אם אתם אוספים מדדי GPU של NVIDIA Management Library‏ (NVML) (agent.googleapis.com/gpu) באמצעות המקלט nvml, אתם משתמשים בגרסה של סוכן תפעול עם תמיכה בגרסת טרום-השקה (Preview) למדדי NVML. התמיכה במדדים האלה זמינה לכל המשתמשים ב-סוכן תפעול מגרסה 2.38.0. בגרסת ה-GA, איסוף המדדים שבוצע על ידי המקלט nvml מוזג לתוך המקלט hostmetrics, והמקלט nvml הוסר.

הודעת השגיאה metrics receiver with type "nvml" is not supported מופיעה אחרי שמתקינים את Ops Agent בגרסה 2.38.0 ואילך, אם משתמשים במקלט nvml בגרסת טרום-השקה (Preview) ומבטלים את מרווח הזמן שמוגדר כברירת מחדל לאיסוף בקובץ התצורה שצוין על ידי המשתמש. השגיאה מתרחשת כי המקלט nvml כבר לא קיים, אבל קובץ התצורה שצוין על ידי המשתמש עדיין מפנה אליו.

כדי לפתור את הבעיה, צריך לעדכן את קובץ התצורה שצוין על ידי המשתמש כדי לשנות את מרווח הזמן לאיסוף במקלט hostmetrics.

חסרים מדדי GPU

אם סוכן תפעול אוסף מדדים מסוימים אבל חסרים חלק מהמדדים של NVIDIA Management Library (NVML) GPU (agent.googleapis.com/gpu) או כולם, יכול להיות שיש בעיה בהגדרה או שאין תהליכים שמשתמשים ב-GPU.

אם לא נאספים מדדי GPU, צריך לבדוק את מנהל ההתקן של ה-GPU. כדי לאסוף מדדי GPU, סוכן התפעול דורש שמנהל ההתקן של ה-GPU יהיה מותקן ומוגדר ב-VM. כדי לבדוק את מנהל ההתקן, מבצעים את הפעולות הבאות:

  1. כדי לוודא שהדרייבר מותקן ופועל כמו שצריך, פועלים לפי השלבים שמפורטים בקטע אימות ההתקנה של דרייבר ה-GPU.

  2. אם הדרייבר לא מותקן, מבצעים את הפעולות הבאות:

    1. מתקינים את מנהל ההתקן של ה-GPU.
    2. מפעילים מחדש את סוכן התפעול.

      צריך להפעיל מחדש את סוכן תפעול אחרי שמתקינים או משדרגים את מנהל ההתקן של ה-GPU.

    3. בודקים את היומנים של Ops Agent כדי לוודא שהתקשורת התחילה. הודעות היומן דומות להודעות הבאות:

      Jul 11 18:28:12 multi-gpu-debian11-2 otelopscol[906670]: 2024-07-11T18:28:12.771Z        info        nvmlreceiver/client.go:128        Successfully initialized Nvidia Management Library
      Jul 11 18:28:12 multi-gpu-debian11-2 otelopscol[906670]: 2024-07-11T18:28:12.772Z        info        nvmlreceiver/client.go:151        Nvidia Management library version is 12.555.42.06
      Jul 11 18:28:12 multi-gpu-debian11-2 otelopscol[906670]: 2024-07-11T18:28:12.772Z        info        nvmlreceiver/client.go:157        NVIDIA driver version is 555.42.06
      Jul 11 18:28:12 multi-gpu-debian11-2 otelopscol[906670]: 2024-07-11T18:28:12.781Z        info        nvmlreceiver/client.go:192        Discovered Nvidia device 0 of model NVIDIA L4 with UUID GPU-fc5a05a7-8859-ec33-c940-3cf0930c0e61.
      

אם מנהל ההתקן של ה-GPU מותקן וביומנים של Ops Agent מצוין ש-Ops Agent מתקשר עם מנהל ההתקן, אבל אתם לא רואים מדדים של ה-GPU, יכול להיות שהבעיה היא בתרשים שבו אתם משתמשים. למידע על פתרון בעיות בתרשימים, קראו את המאמר לא מוצגים נתונים בתרשים.

אם אתם אוספים מדדי GPU מסוימים אבל חסרים המדדים processes (processes/max_bytes_used ו-processes/utilization), אין לכם תהליכים שפועלים ב-GPU. המדדים של GPU processes לא נאספים אם אין תהליכים שפועלים ב-GPU.

חלק מהמדדים חסרים או לא עקביים

יש מספר קטן של מדדים שגרסה 2.0.0 של סוכן תפעול והגרסאות החדשות יותר מטפלות בהם באופן שונה מגרסאות טרום-ההשקה של סוכן תפעול (גרסאות קודמות ל-2.0.0) או מ-Monitoring agent.

בטבלה הבאה מתוארים ההבדלים בנתונים שנקלטים על ידי Ops Agent וסוכן Monitoring הקודם.
סוג המדד, לא כולל
agent.googleapis.com
סוכן תפעול (GA)† סוכן תפעול (גרסת טרום-השקה (Preview))† סוכן Monitoring מדור קודם
cpu_state הערכים האפשריים ב-Windows הם idle,‏ interrupt,,‏
, system ו-user.
הערכים האפשריים ב-Windows הם idle,‏ interrupt,,‏
, system ו-user.
הערכים האפשריים ל-Windows הם idle ו-used.
disk/bytes_used וגם
disk/percent_used
הוטמע עם הנתיב המלא בתווית device, לדוגמה /dev/sda15.

לא נאספים במכשירים וירטואליים כמו tmpfs ו-udev.
הוטמעו בלי /dev בנתיב בתווית device, לדוגמה, sda15.

הנתונים נקלטים במכשירים וירטואליים כמו tmpfs ו-udev.
הוטמעו בלי /dev בנתיב בתווית device, לדוגמה, sda15.

הנתונים נקלטים במכשירים וירטואליים כמו tmpfs ו-udev.
† העמודה GA מתייחסת לגרסאות 2.0.0 ומעלה של סוכן תפעול. העמודה Preview מתייחסת לגרסאות של סוכן תפעול שקודמות ל-2.0.0.

בעיות ספציפיות ל-Windows

הקטעים הבאים רלוונטיים רק ל-Ops Agent שפועל ב-Windows.

עיכוב בקבלת היומנים

אם אתם מבחינים בעיכוב בהגעת היומנים, אבל רואים הגעה של רשומות ביומן SuccessAudit של Windows, כמו "An attempt was made to access an object.", יכול להיות שמספר הרשומות ביומן SuccessAudit מונע את הטמעת היומנים בזמן. כדי לפתור את הבעיה, צריך להשבית את רשומות היומן של SuccessAudit אם אין בהן צורך.

מוני ביצועים פגומים ב-Windows

אם סוכן המשנה של המדדים לא מתחיל לפעול, יכול להיות שתופיע אחת מהשגיאות הבאות ב-Cloud Logging:

Failed to retrieve perf counter object "LogicalDisk"
Failed to retrieve perf counter object "Memory"
Failed to retrieve perf counter object "System"

השגיאות האלה יכולות להתרחש אם מוני הביצועים של המערכת נפגמים. כדי לפתור את השגיאות, אפשר לבנות מחדש את מוני הביצועים. ב-PowerShell, מפעילים כאדמין את הפקודה:

cd C:\Windows\system32
lodctr /R

לפעמים הפקודה הקודמת נכשלת. במקרה כזה, טוענים מחדש את PowerShell ומנסים שוב עד שהיא מצליחה.

אחרי שהפקודה מסתיימת בהצלחה, מפעילים מחדש את סוכן תפעול:

Restart-Service -Name google-cloud-ops-agent -Force

איפוס מלא של מצב הסוכן

אם הסוכן נכנס למצב שלא ניתן לשחזר, צריך לפעול לפי השלבים הבאים כדי לשחזר את הסוכן למצב חדש.

Linux

עוצרים את שירות הסוכן:

sudo service google-cloud-ops-agent stop

מסירים את חבילת הסוכן:

curl -sSO https://dl.google.com/cloudagents/add-google-cloud-ops-agent-repo.sh
sudo bash add-google-cloud-ops-agent-repo.sh --uninstall --remove-repo

הסרת היומנים העצמיים של הסוכן בדיסק:

sudo rm -rf /var/log/google-cloud-ops-agent

מסירים את המאגרים המקומיים של הסוכן בדיסק:

sudo rm -rf /var/lib/google-cloud-ops-agent/fluent-bit/buffers/*/

מתקינים מחדש ומפעילים מחדש את הסוכן:

curl -sSO https://dl.google.com/cloudagents/add-google-cloud-ops-agent-repo.sh
sudo bash add-google-cloud-ops-agent-repo.sh --also-install
sudo service google-cloud-ops-agent restart

Windows

עוצרים את שירות הסוכן:

Stop-Service google-cloud-ops-agent -Force;
Get-Service google-cloud-ops-agent* | %{sc.exe delete $_};
taskkill /f /fi "SERVICES eq google-cloud-ops-agent*";

מסירים את חבילת הסוכן:

(New-Object Net.WebClient).DownloadFile("https://dl.google.com/cloudagents/add-google-cloud-ops-agent-repo.ps1", "${env:UserProfile}\add-google-cloud-ops-agent-repo.ps1");
$env:REPO_SUFFIX="";
Invoke-Expression "${env:UserProfile}\add-google-cloud-ops-agent-repo.ps1 -Uninstall -RemoveRepo"

הסרת היומנים העצמיים של הסוכן בדיסק:

rmdir -R -ErrorAction SilentlyContinue "C:\ProgramData\Google\Cloud Operations\Ops Agent\log";

מסירים את המאגרים המקומיים של הסוכן בדיסק:

Get-ChildItem -Path "C:\ProgramData\Google\Cloud Operations\Ops Agent\run\buffers\" -Directory -ErrorAction SilentlyContinue | %{rm -r -Path $_.FullName}

מתקינים מחדש ומפעילים מחדש את הסוכן:

(New-Object Net.WebClient).DownloadFile("https://dl.google.com/cloudagents/add-google-cloud-ops-agent-repo.ps1", "${env:UserProfile}\add-google-cloud-ops-agent-repo.ps1");
$env:REPO_SUFFIX="";
Invoke-Expression "${env:UserProfile}\add-google-cloud-ops-agent-repo.ps1 -AlsoInstall"

איפוס אבל שמירה של קובצי המאגר הזמני

אם למכונה הווירטואלית אין מקטעי מאגר נתונים פגומים (כלומר, אין הודעות format check failed בקובץ היומן של סוכן תפעול), אתם יכולים לדלג על הפקודות הקודמות שמסירות את מאגרי הנתונים המקומיים כשמאפסים את מצב הסוכן.

אם במכונה הווירטואלית יש קטעי מאגר נתונים פגומים, צריך להסיר אותם. האפשרויות הבאות מתארות דרכים שונות לטיפול במאגרים. השלבים האחרים שמתוארים בקטע איפוס מלא של מצב הסוכן עדיין רלוונטיים.

  • אפשרות 1: מוחקים את כל הספרייה buffers. זו האפשרות הכי פשוטה, אבל היא עלולה לגרום לאובדן של היומנים התקינים במאגר או לשכפול של היומנים בגלל אובדן של קובצי המיקום.

    Linux

    sudo rm -rf /var/lib/google-cloud-ops-agent/fluent-bit/buffers
    

    Windows

    rmdir -R -ErrorAction SilentlyContinue "C:\ProgramData\Google\Cloud Operations\Ops Agent\run\buffers";
    
  • אפשרות 2: מוחקים את תיקיות המשנה של המאגר מהספרייה buffers, אבל משאירים את קובצי המיקום. הגישה הזו מתוארת בקטע איפוס מלא של מצב הנציג.

  • אפשרות 3: אם אתם לא רוצים למחוק את כל קובצי המאגר, אתם יכולים לחלץ את השמות של קובצי המאגר הפגומים מהיומנים העצמיים של הסוכן ולמחוק רק את קובצי המאגר הפגומים.

    Linux

    grep "format check failed" /var/log/google-cloud-ops-agent/subagents/logging-module.log | sed 's|.*format check failed: |/var/lib/google-cloud-ops-agent/fluent-bit/buffers/|' | xargs sudo rm -f
    

    Windows

    $oalogspath="C:\ProgramData\Google\Cloud Operations\Ops Agent\log\logging-module.log";
    if (Test-Path $oalogspath) {
      Select-String "format check failed" $oalogspath |
      %{$_ -replace '.*format check failed: (.*)/(.*)', '$1\$2'} |
      %{rm -ErrorAction SilentlyContinue -Path ('C:\ProgramData\Google\Cloud Operations\Ops Agent\run\buffers\' + $_)}
    };
    
  • אפשרות 4: אם יש הרבה מאגרים פגומים ואתם רוצים לעבד מחדש את כל קובצי היומן, אתם יכולים להשתמש בפקודות מאפשרות 3 וגם למחוק את קובצי המיקום (שבהם מאוחסנת ההתקדמות של סוכן תפעול לכל קובץ יומן). מחיקת קובצי המיקום עלולה לגרום לכפילות ביומנים שכבר הוטמעו בהצלחה. האפשרות הזו מעבדת מחדש רק את הקבצים הנוכחיים של היומן, ולא מעבדת מחדש קבצים שכבר הועברו או יומנים ממקורות אחרים כמו יציאת TCP. קובצי המיקום מאוחסנים בספרייה buffers, אבל הם מאוחסנים כקבצים. המאגרים המקומיים מאוחסנים כספריות משנה בספרייה buffers,

    Linux

    grep "format check failed" /var/log/google-cloud-ops-agent/subagents/logging-module.log | sed 's|.*format check failed: |/var/lib/google-cloud-ops-agent/fluent-bit/buffers/|' | xargs sudo rm -f
    sudo find /var/lib/google-cloud-ops-agent/fluent-bit/buffers -maxdepth 1 -type f -delete
    

    Windows

    $oalogspath="C:\ProgramData\Google\Cloud Operations\Ops Agent\log\logging-module.log";
    if (Test-Path $oalogspath) {
      Select-String "format check failed" $oalogspath |
      %{$_ -replace '.*format check failed: (.*)/(.*)', '$1\$2'} |
      %{rm -ErrorAction SilentlyContinue -Path ('C:\ProgramData\Google\Cloud Operations\Ops Agent\run\buffers\' + $_)}
    };
    Get-ChildItem -Path "C:\ProgramData\Google\Cloud Operations\Ops Agent\run\buffers\" -File -ErrorAction SilentlyContinue | %{$_.Delete()}
    

בעיות מוכרות בגרסאות האחרונות של סוכן תפעול

בקטעים הבאים מתוארות בעיות מוכרות בגרסאות האחרונות של סוכן תפעול.

גרסה 2.56.0 של סוכן תפעול לא מצליחה לשלוח מדדים של Prometheus

אם אתם משתמשים ב-Ops Agent בגרסה 2.56.0 בשילוב עם מקלט Prometheus, ואם יעד ה-scrape שלכם פולט מדדים עם מדדי *_created נוספים למונים (כדי לתמוך בתכונה הניסיונית החדשה Created Timestamps), יכול להיות שסוכן התפעול לא יצליח לכתוב מדדים ולדווח על שגיאות ששעות ההתחלה חייבות להיות חיוביות. הודעות היומן דומות להודעות הבאות:

Field points[0].interval.start_time had an invalid value of \"1781-05-03T21:46:07.592596-07:52\": The start time must be positive.;

זו בעיה ב-OpenTelemetry במעלה הזרם. כדי לפתור את השגיאה עד שהיא תתוקן בגרסה חדשה של סוכן תפעול, צריך להשתמש בגרסה 2.55.0 שלא מושפעת מהשגיאה. אם אתם משתמשים בכללי מדיניות של סוכנים, אתם יכולים גם להצמיד את הגרסה ל-2.55.0 כדי למנוע שדרוגים. מידע נוסף זמין במאמר התקנת גרסה ספציפית של הסוכן.

לולאת קריסה של סוכן תפעול בגרסאות 2.47.0,‏ 2.48.0 או 2.49.0

גרסאות 2.47.0,‏ 2.48.0 ו-2.49.0 כללו רכיב FluentBit פגום לרישום ביומן. הרכיב הזה נכשל בשורות יומן ספציפיות וגורם ל-Ops Agent להיכנס ללולאת קריסה.

הבעיה נפתרה בגרסה 2.50.0 של סוכן תפעול.

מרחב השמות של המדדים של Prometheus כולל את שם המכונה בנוסף למזהה המכונה, החל מגרסה 2.46.0 של סוכן תפעול

החל מגרסה 2.46.0, סוכן תפעול כולל את שם ה-VM כחלק מהתווית namespace כשמטמיעים מדדים בפורמט ההטמעה של Prometheus. בגרסאות קודמות, המדדים של Prometheus השתמשו רק במזהה המכונה הווירטואלית כחלק מהתווית namespace, אבל החל מגרסה 2.46.0, הערך של namespace מוגדר ל-INSTANCE_ID/INSTANCE_NAME.

אם יש לכם תרשימים, לוחות בקרה או מדיניות התראות שמשתמשים בתווית namespace, יכול להיות שתצטרכו לעדכן את השאילתות אחרי שתשדרגו את סוכן התפעול לגרסה 2.46.0 ואילך. לדוגמה, אם שאילתת PromQL נראית כך: http_requests_total{namespace="123456789"}, צריך לשנות אותה ל-http_requests_total{namespace=~"123456789.*"}, כי התווית namespace היא בפורמט INSTANCE_ID/INSTANCE_NAME.

החל מגרסה 2.39.0 של סוכן תפעול, סוג המדד של מדדים לא מסווגים של Prometheus משתנה

החל מגרסה 2.39.0, סוכן התפעול תומך בהטמעת מדדים של Prometheus מסוגים לא ידועים. בגרסאות קודמות, Ops Agent מתייחס למדדים האלה כאל מדדים, אבל החל מגרסה 2.39.0, מדדים ללא סוג מטופלים גם כמדדים וגם כמונים. כתוצאה מכך, המשתמשים יכולים עכשיו להשתמש בפעולות מצטברות במדדים האלה.

אם אתם משתמשים ב-PromQL, אתם יכולים להחיל פעולות מצטברות על מדדי Prometheus ללא סוג אחרי שדרוג סוכן תפעול לגרסה 2.39.0 ואילך.

שימוש בזיכרון גבוה במכונות וירטואליות של Windows (גרסאות 2.27.0 עד 2.29.0)

ב-Windows, בגרסאות 2.27.0 עד 2.29.0 של Ops Agent, באג שגרם לסוכן לפעמים לדלוף שקעים הוביל לשימוש מוגבר בזיכרון ולמספר גבוה של נקודות אחיזה שמוחזקות על ידי התהליך fluent-bit.exe.

כדי לפתור את הבעיה, שדרגו את Ops Agent לגרסה 2.30.0 ואילך והפעילו מחדש את הסוכן.

אזורי הזמן ביומן האירועים שגויים ב-Windows (גרסאות 2.15.0 עד 2.26.0)

אם תשנו את אזור הזמן של ה-VM מ-UTC, יכול להיות שחותמות הזמן שמשויכות ליומני האירועים של Windows ב-Cloud Logging יהיו שגויות. הבעיה תוקנה ב-סוכן תפעול בגרסה 2.27.0, אבל בגלל הבעיה הידועה של שימוש גבוה בזיכרון ב-Windows, אם נתקלתם בבעיה הזו אנחנו ממליצים לשדרג ל-סוכן תפעול בגרסה 2.30.0 לפחות. אם אתם לא יכולים לשדרג, אתם יכולים לנסות את אחד מהפתרונות החלופיים הבאים.

שימוש באזור זמן UTC

ב-PowerShell, מריצים את הפקודות הבאות כאדמינים:

Set-TimeZone -Id "UTC"
Restart-Service -Name "google-cloud-ops-agent-fluent-bit" -Force

שינוי הגדרת אזור הזמן רק בשירות של סוכן המשנה לרישום ביומן

ב-PowerShell, מריצים את הפקודות הבאות כאדמינים:

Set-ItemProperty -Path "HKLM:\SYSTEM\CurrentControlSet\Services\google-cloud-ops-agent-fluent-bit" -Name "Environment" -Type "MultiString" -Value "TZ=UTC0"
Restart-Service -Name "google-cloud-ops-agent-fluent-bit" -Force

חותמות זמן מנותחות ב-Windows כוללות אזור זמן שגוי (כל גרסה לפני 2.27.0)

אם אתם משתמשים במעבד יומנים שמנתח חותמת זמן, ערך אזור הזמן לא ינותח כמו שצריך ב-Windows. הבעיה תוקנה ב-Ops Agent בגרסה 2.27.0, אבל בגלל הבעיה הידועה של שימוש גבוה בזיכרון ב-Windows, אם נתקלתם בבעיה הזו אנחנו ממליצים לשדרג לפחות ל-Ops Agent בגרסה 2.30.0.

בעיות מוכרות בגרסאות ישנות יותר של סוכן תפעול

בקטעים הבאים מתוארות בעיות שידועות בגרסאות ישנות יותר של סוכן תפעול.

יומנים לא מזיקים (גרסאות 2.9.1 וגרסאות ישנות יותר)

יכול להיות שיופיעו שגיאות כשמגרדים מדדים מתהליכים מדומים או מתהליכים מוגבלים. היומנים הבאים לא מזיקים ואפשר להתעלם מהם. כדי שההודעות האלה לא יופיעו, צריך לשדרג את סוכן התפעול לגרסה 2.10.0 ואילך.

    Jul 13 17:28:55 debian9-trouble otelopscol[2134]: 2021-07-13T17:28:55.848Z        error        scraperhelper/scrapercontroller.go:205        Error scraping metrics        {"kind"
  : "receiver", "name": "hostmetrics/hostmetrics", "error": "[error reading process name for pid 2: readlink /proc/2/exe: no such file or directory; error reading process name for
  pid 3: readlink /proc/3/exe: no such file or directory; error reading process name for pid 4: readlink /proc/4/exe: no such file or directory; error reading process name for pid
  5: readlink /proc/5/exe: no such file or directory; error reading process name for pid 6: readlink /proc/6/exe: no such file or directory; error reading process name for pid 7: r
  eadlink /proc/7/exe: no such file or directory; error reading process name for pid 8: readlink /proc/8/exe: no such file or directory; error reading process name for pid 9: readl
  ink /proc/9/exe: no such file or directory; error reading process name for pid 10: readlink /proc/10/exe: no such file or directory; error reading process name for pid 11: readli
  nk /proc/11/exe: no such file or directory; error reading process name for pid 12: readlink /proc/12/exe: no such file or directory; error reading process name for pid 13: readli
  nk /proc/13/exe: no such file or directory; error reading process name for pid 14: readlink /proc/14/exe: no such file or directory; error reading process name for pid 15: readli
  nk /proc/15/exe: no such file or directory; error reading process name for pid 16: readlink /proc/16/exe: no such file or directory; error reading process name for pid 17: readli
  nk /proc/17/exe: no such file or directory; error reading process name for pid 18: readlink /proc/18/exe: no such file or directory; error reading process name for pid 19: readli
  nk /proc/19/exe: no such file or directory; error reading process name for pid 20: readlink /proc/20/exe: no such file or directory; error reading process name for pid 21: readli
  nk /proc/21/exe: no such file or directory; error reading process name for pid 22: readlink /proc/22/exe: no such file or directory; error reading process name for pid
  Jul 13 17:28:55 debian9-trouble otelopscol[2134]: 23: readlink /proc/23/exe: no such file or directory; error reading process name for pid 24: readlink /proc/24/exe: no such file
   or directory; error reading process name for pid 25: readlink /proc/25/exe: no such file or directory; error reading process name for pid 26: readlink /proc/26/exe: no such file
   or directory; error reading process name for pid 27: readlink /proc/27/exe: no such file or directory; error reading process name for pid 28: readlink /proc/28/exe: no such file
   or directory; error reading process name for pid 30: readlink /proc/30/exe: no such file or directory; error reading process name for pid 31: readlink /proc/31/exe: no such file
   or directory; error reading process name for pid 43: readlink /proc/43/exe: no such file or directory; error reading process name for pid 44: readlink /proc/44/exe: no such file
   or directory; error reading process name for pid 45: readlink /proc/45/exe: no such file or directory; error reading process name for pid 90: readlink /proc/90/exe: no such file
   or directory; error reading process name for pid 92: readlink /proc/92/exe: no such file or directory; error reading process name for pid 106: readlink /proc/106/exe: no such fi
  le or directory; error reading process name for pid 360: readlink /proc/360/exe: no such file or directory; error reading process name for pid 375: readlink /proc/375/exe: no suc
  h file or directory; error reading process name for pid 384: readlink /proc/384/exe: no such file or directory; error reading process name for pid 386: readlink /proc/386/exe: no
   such file or directory; error reading process name for pid 387: readlink /proc/387/exe: no such file or directory; error reading process name for pid 422: readlink /proc/422/exe
  : no such file or directory; error reading process name for pid 491: readlink /proc/491/exe: no such file or directory; error reading process name for pid 500: readlink /proc/500
  /exe: no such file or directory; error reading process name for pid 2121: readlink /proc/2121/exe: no such file or directory; error reading
  Jul 13 17:28:55 debian9-trouble otelopscol[2134]: process name for pid 2127: readlink /proc/2127/exe: no such file or directory]"}
  Jul 13 17:28:55 debian9-trouble otelopscol[2134]: go.opentelemetry.io/collector/receiver/scraperhelper.(controller).scrapeMetricsAndReport
  Jul 13 17:28:55 debian9-trouble otelopscol[2134]:         /root/go/pkg/mod/go.opentelemetry.io/collector@v0.29.0/receiver/scraperhelper/scrapercontroller.go:205
  Jul 13 17:28:55 debian9-trouble otelopscol[2134]: go.opentelemetry.io/collector/receiver/scraperhelper.(controller).startScraping.func1
  Jul 13 17:28:55 debian9-trouble otelopscol[2134]:         /root/go/pkg/mod/go.opentelemetry.io/collector@v0.29.0/receiver/scraperhelper/scrapercontroller.go:186
  

יומני הרישום העצמי של הסוכן צורכים יותר מדי מעבד (CPU), זיכרון ומקום בכונן (גרסאות 2.16.0 וגרסאות ישנות יותר)

גרסאות של סוכן תפעול שקודמות ל-2.17.0 עלולות לצרוך הרבה משאבי מעבד, זיכרון ומקום בכונן עם קובצי /var/log/google-cloud-ops-agent/subagents/logging-module.log במכונות וירטואליות של Linux או קובצי C:\ProgramData\Google\Cloud Operations\Ops Agent\log\logging-module.log במכונות וירטואליות של Windows, בגלל מקטעי מאגר נתונים פגומים. במקרה כזה, מופיע מספר גדול של הודעות כמו אלה בקובץ logging-module.log.

  [2022/04/30 05:23:38] [error] [input chunk] error writing data from tail.2 instance
  [2022/04/30 05:23:38] [error] [storage] format check failed: tail.2/2004860-1650614856.691268293.flb
  [2022/04/30 05:23:38] [error] [storage] format check failed: tail.2/2004860-1650614856.691268293.flb
  [2022/04/30 05:23:38] [error] [storage] [cio file] file is not mmap()ed: tail.2:2004860-1650614856.691268293.flb
  

כדי לפתור את הבעיה, שדרגו את Ops Agent לגרסה 2.17.0 או לגרסה חדשה יותר, ואפסו לגמרי את מצב הסוכן.

אם המערכת עדיין יוצרת נפח גדול של יומנים עצמיים של הסוכן, כדאי להשתמש בהחלפת יומנים. מידע נוסף זמין במאמר הגדרת החלפת יומנים.