‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

שימוש בכוונון ובהערכה כדי לשפר את הביצועים של המודל

במדריך הזה נסביר איך לכוונן מודל שמשפר משפט נתון על ידי שימוש בניסוח מדויק יותר או הוספת תנאים, בלי לשנות את המשמעות הכוללת. יוצרים מודל מרוחק שמפנה אל מודל של Gemini Enterprise Agent Platform, משתמשים בכוונון בהשגחה ואז מעריכים את המודל המכוונן באמצעות הפונקציה ML.EVALUATE.

כוונון עוזר לכם להתאים אישית את המודל של Agent Platform המתארחת, למשל כשקשה להגדיר את ההתנהגות הצפויה בפרומפט, או כשהפרומפטים לא מניבים באופן עקבי את התוצאות הצפויות. כוונון מונחה משפיע על המודל גם בדרכים הבאות:

הנחיית המודל להחזרת סגנונות תשובה ספציפיים – לדוגמה, תמציתי יותר או מפורט יותר.
אימון המודל להתנהגויות חדשות – לדוגמה, להגיב להנחיות בתור פרסונה ספציפית.
גורם למודל לעדכן את עצמו במידע חדש.

במדריך הזה, המטרה היא שהמודל ייצור טקסט שהסגנון והתוכן שלו יהיו דומים ככל האפשר לתוכן האמת שסופק.

מטרות

יוצרים מערך נתונים.
ייבוא נתוני אימון והערכה לטבלאות.
יוצרים מודל בסיס.
הערכת ביצועי מודל הבסיס.
יוצרים מודל שעבר כוונון.
הערכת הביצועים של המודל שעבר התאמה.

עלויות

במסמך הזה משתמשים ברכיבים הבאים של Google Cloud, והשימוש בהם כרוך בתשלום:

BigQuery. You incur costs for the queries that you run in BigQuery.
BigQuery ML. You incur costs for the model that you create and the processing that you perform in BigQuery ML.
Gemini Enterprise Agent Platform. You incur costs for calls to and supervised tuning of the Gemini model.

כדי להעריך את ההוצאות בהתאם לתחזית השימוש שלכם, אתם יכולים להיעזר במחשבון העלויות.

משתמשים חדשים של Google Cloud ? יכול להיות שאתם זכאים לתקופת ניסיון בחינם.

מידע נוסף זמין במקורות המידע הבאים:

לפני שמתחילים

כדי להפעיל את המדריך הזה, אתם צריכים את התפקידים הבאים בניהול הזהויות והרשאות הגישה (IAM):

יצירה ושימוש במערכי נתונים, בחיבורים ובמודלים של BigQuery: ניהול BigQuery‏ (roles/bigquery.admin).
נותנים הרשאות לחשבון השירות של החיבור: אדמין IAM של פרויקט (roles/resourcemanager.projectIamAdmin).

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות לביצוע המשימות שמתוארות במסמך הזה. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

יצירת מערך נתונים: bigquery.datasets.create
יצירת טבלה: bigquery.tables.create
יצירה, הקצאה ושימוש בחיבור: bigquery.connections.*
הגדרת החיבור המוגדר כברירת מחדל: bigquery.config.*
מגדירים את ההרשאות לחשבון השירות: resourcemanager.projects.getIamPolicy ו- resourcemanager.projects.setIamPolicy
יצירת מודל והרצת הסקה:
- bigquery.jobs.create
- bigquery.models.create
- bigquery.models.getData
- bigquery.models.updateData
- bigquery.models.updateMetadata

יכול להיות שתוכלו לקבל את ההרשאות האלה גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

בדף לבחירת הפרויקט במסוף Google Cloud , בוחרים פרויקט ב- Google Cloud או יוצרים אותו.
תפקידים שנדרשים כדי לבחור או ליצור פרויקט
- Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
- יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים
הערה: אם אתם לא מתכננים לשמור את המשאבים שתיצרו בתהליך הזה, תוכלו ליצור פרויקט חדש במקום לבחור באחד מהפרויקטים הקיימים. בסיום התהליך תוכלו למחוק את הפרויקט ולהסיר את כל המשאבים שמשויכים אליו.

כניסה לדף לבחירת הפרויקט
מוודאים שהחיוב מופעל בפרויקט Google Cloud .
מפעילים את ממשקי ה-API של BigQuery,‏ BigQuery Connection,‏ Agent Platform ו-Compute Engine.
תפקידים שנדרשים להפעלת ממשקי API
כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים
הפעלת ממשקי ה-API

יצירת מערך נתונים

כדי ליצור מערך נתונים ב-BigQuery, בוחרים באחת מהאפשרויות הבאות:

המסוף

במסוף Google Cloud , עוברים לדף BigQuery.

כניסה ל-BigQuery
בחלונית הימנית, לוחצים על כלי הניתוחים:

אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.
בסייר, מרחיבים את הפרויקט ואז לוחצים על מערכי נתונים.
בדף Datasets (מערכי נתונים), לוחצים על Create dataset (יצירת מערך נתונים).
בחלונית Create dataset:
- בשדה Dataset ID (מזהה קבוצת נתונים), מזינים bqml_tutorial.
- בקטע Data location, בוחרים באפשרות US.
משאירים את שאר הגדרות ברירת המחדל כמו שהן.
לוחצים על יצירת מערך נתונים.

BQ

כדי ליצור מערך נתונים חדש, משתמשים בפקודה bq mk --dataset.

יוצרים מערך נתונים בשם bqml_tutorial עם מיקום הנתונים שמוגדר ל-US:
```
bq mk --dataset \
  --location=US \
  --description "BigQuery ML tutorial dataset." \
  bqml_tutorial
```
בודקים שמערך הנתונים נוצר:
```
bq ls
```

API

מפעילים את השיטה datasets.insert עם משאב מוגדר של מערך נתונים:

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

יצירת טבלאות בדיקה

יצירת טבלאות של נתוני אימון והערכה על סמך מערך הנתונים task955_wiki_auto_style_transfer הציבורי של Hugging Face.

פותחים את Cloud Shell:

ב-Cloud Shell, יוצרים טבלאות של נתוני בדיקה והערכה:

python3 -m pip install pandas pyarrow fsspec huggingface_hub

python3 -c "import pandas as pd; df_train = pd.read_parquet('hf://datasets/Lots-of-LoRAs/task955_wiki_auto_style_transfer/data/train-00000-of-00001.parquet').drop('id', axis=1); df_train['output'] = [x[0] for x in df_train['output']]; df_train.to_json('wiki_auto_style_transfer_train.jsonl', orient='records', lines=True);"

python3 -c "import pandas as pd; df_valid = pd.read_parquet('hf://datasets/Lots-of-LoRAs/task955_wiki_auto_style_transfer/data/valid-00000-of-00001.parquet').drop('id', axis=1); df_valid['output'] = [x[0] for x in df_valid['output']]; df_valid.to_json('wiki_auto_style_transfer_valid.jsonl', orient='records', lines=True);"

bq load --replace=true --source_format=NEWLINE_DELIMITED_JSON bqml_tutorial.wiki_auto_style_transfer_train wiki_auto_style_transfer_train.jsonl input:STRING,output:STRING

bq load --replace=true --source_format=NEWLINE_DELIMITED_JSON bqml_tutorial.wiki_auto_style_transfer_valid wiki_auto_style_transfer_valid.jsonl input:STRING,output:STRING

צפייה בנתוני האימון

נתוני האימון של הקלט הם הנחיה שמבקשת מהמודל להרחיב משפט בלי לשנות את המשמעות הכללית שלו. כל הנחיה כוללת את אותה קבוצה של שתי דוגמאות חיוביות ושתי דוגמאות שליליות, וגם משפט לכתיבה מחדש. הפלט הוא משפט מפורט יותר שהמודל יצר.

במסוף Google Cloud , עוברים לדף BigQuery.

כניסה ל-BigQuery

בעורך השאילתות, מריצים את ההצהרה הבאה כדי לראות דוגמה לנתוני קלט ופלט:

SELECT * FROM bqml_tutorial.wiki_auto_style_transfer_train LIMIT 1;

התוצאה אמורה להיראות כך:

+-----------------------------------------------+-------------------------------------------------+
| input                                         | output                                          |
+-----------------------------------------------+-------------------------------------------------+
| Definition: In this task, we ask you to       | Merton College ( in full : The House or College |
| elaborate the sentence without changing its   | of Scholars of Merton in the University of      |
| general meaning. You can do so by explaining  | Oxford ) is one of the constituent colleges of  |
| further the input sentence, using more        | the University of Oxford in England .           |
| precise wording, adding qualifiers and        |                                                 |
| auxiliary information etc.                    |                                                 |
|                                               |                                                 |
| Positive Example 1 -                          |                                                 |
| Input: The Inheritance Cycle is a series of   |                                                 |
| fantasy books written by Christopher Paolini. |                                                 |
| Output: The Inheritance Cycle is a tetralogy  |                                                 |
| of young adult high fantasy novels written by |                                                 |
| American author Christopher Paolini.          |                                                 |
|                                               |                                                 |
| Positive Example 2 -                          |                                                 |
| Input: The Greco-Roman or Graeco-Roman world, |                                                 |
| refers to geographical regions and countries  |                                                 |
| who had the language , culture , government   |                                                 |
| or religion of the ancient Greeks and Romans. |                                                 |
| Output: The Greco-Roman world , Greco-Roman   |                                                 |
| culture , or the term Greco-Roman (spelled    |                                                 |
| Graeco-Roman in the United Kingdom and the    |                                                 |
| Commonwealth), when used as an adjective , as |                                                 |
| understood by modern scholars and writers ,   |                                                 |
| refers to those geographical regions and      |                                                 |
| countries that culturally ( and so            |                                                 |
|  historically ) were directly , long-term ,   |                                                 |
| and intimately influenced by the language ,   |                                                 |
| culture , government and religion of the      |                                                 |
| ancient Greeks and Romans.                    |                                                 |
|                                               |                                                 |
| Negative Example 1 -                          |                                                 |
| Input: Boryla, an American football           |                                                 |
| quarterback, did not participate in the 1952  |                                                 |
| playoffs.                                     |                                                 |
| Output: Boryla was not in the 1952 playoffs.  |                                                 |
|                                               |                                                 |
| Negative Example 2 -                          |                                                 |
| Input: The wild population in China decreased |                                                 |
| to around 2,000 in 2005.                      |                                                 |
| Output: By 2005, the wild population          |                                                 |
| decreased to about 2,000.                     |                                                 |
|                                               |                                                 |
| Now complete the following example -          |                                                 |
| Input: Merton College is one of the colleges  |                                                 |
| of the University of Oxford .                 |                                                 |
| Output:                                       |                                                 |
+-----------------------------------------------+-------------------------------------------------+

יצירת מודל בסיסי

יצירת מודל מרוחק על בסיס מודל Gemini:

במסוף Google Cloud , עוברים לדף BigQuery.

כניסה ל-BigQuery
בעורך השאילתות, מריצים את ההצהרה הבאה כדי ליצור מודל מרוחק:
```
CREATE OR REPLACE MODEL `bqml_tutorial.gemini_baseline`
REMOTE WITH CONNECTION DEFAULT
OPTIONS (ENDPOINT = 'gemini-2.5-pro');
```
השלמת השאילתה אורכת כמה שניות, ואז מודל  מופיע במערך הנתונים  בחלונית Explorer.gemini_baselinebqml_tutorial השאילתה משתמשת בהצהרה CREATE MODEL כדי ליצור מודל, ולכן אין תוצאות לשאילתה.

בדיקת ביצועי המודל הבסיסי

כדי לראות את הביצועים של המודל המרוחק בנתוני ההערכה בלי לבצע התאמות, מריצים את הפונקציה AI.GENERATE_TEXT:

במסוף Google Cloud , עוברים לדף BigQuery.

כניסה ל-BigQuery

בעורך השאילתות, מריצים את ההצהרה הבאה:

SELECT result, ground_truth
FROM
  AI.GENERATE_TEXT(
    MODEL `bqml_tutorial.gemini_baseline`,
    (
      SELECT
        input AS prompt, output AS ground_truth
      FROM `bqml_tutorial.wiki_auto_style_transfer_valid`
      LIMIT 10
    ));

התוצאה אמורה להיראות כך:

+-------------------------------------------------+-------------------------------------------------+
| result                                          | ground_truth                                    |
+-------------------------------------------------+-------------------------------------------------+
| In mathematics, and more specifically in graph  | In mathematics , and more specifically in graph |
| theory, a graph is an abstract structure that   | theory , a graph is a structure amounting to a  |
| is used to model pairwise relationships between | set of objects in which some pairs of the       |
| objects. A graph in this context is made up of  | objects are in some sense " related " .         |
| vertices (also called nodes or points) and      |                                                 |
| edges (also called links or lines) that connect |                                                 |
| pairs of vertices.                              |                                                 |
| ...                                             | ...                                             |
+-------------------------------------------------+-------------------------------------------------+

למרות שהמודל הבסיסי יוצר טקסט שמשקף בצורה מדויקת את העובדות שמופיעות בתוכן האמת, הסגנון של הטקסט שונה לפעמים. מודל הבסיס נוטה ליצור הסברים ארוכים יותר מהתשובה הנכונה הרצויה.

הערכת מודל הבסיס

כדי לבצע הערכה מפורטת יותר של ביצועי המודל, אפשר להשתמש בפונקציה ML.EVALUATE. הפונקציה הזו מחשבת מדדים של המודל שמודדים את הדיוק והאיכות של הטקסט שנוצר, כדי להשוות בין התשובות של המודל לבין תשובות אידיאליות.

במסוף Google Cloud , עוברים לדף BigQuery.

כניסה ל-BigQuery

בעורך השאילתות, מריצים את ההצהרה הבאה:

SELECT *
FROM
  ML.EVALUATE(
    MODEL `bqml_tutorial.gemini_baseline`,
    (
      SELECT
        input AS input_text, output AS output_text
      FROM `bqml_tutorial.wiki_auto_style_transfer_valid`
    ),
    STRUCT('text_generation' AS task_type));

התוצאה אמורה להיראות כך:

+---------------------+---------------------+-------------------------------------------+--------------------------------------------+
| bleu4_score         | rouge-l_precision   | rouge-l_recall      | rouge-l_f1_score    | evaluation_status                          |
+---------------------+---------------------+---------------------+---------------------+--------------------------------------------+
| 0.32571814014498979 | 0.45752569962901607 | 0.557224161991254   | 0.49205029983307907 | {                                          |
|                     |                     |                     |                     |  "num_successful_rows": 176,               |
|                     |                     |                     |                     |  "num_total_rows": 176                     |
|                     |                     |                     |                     | }                                          |
+---------------------+---------------------+ --------------------+---------------------+--------------------------------------------+

הציונים האלה מספקים דרך כמותית למדידת הביצועים. בקטעים הבאים מוסבר איך ליצור מודל מותאם ואיך להשוות את הביצועים שלו למודל הבסיסי.

יצירת מודל שעבר כוונון

יוצרים מודל מרוחק שדומה מאוד לזה שיצרתם במאמר יצירת מודל, אבל הפעם מציינים את הפסקה AS SELECT כדי לספק את נתוני האימון לצורך כוונון המודל.

במסוף Google Cloud , עוברים לדף BigQuery.

כניסה ל-BigQuery
בעורך השאילתות, מריצים את ההצהרה הבאה כדי ליצור מודל מרוחק:
```
CREATE OR REPLACE MODEL `bqml_tutorial.gemini_tuned`
  REMOTE
    WITH CONNECTION DEFAULT
  OPTIONS (
    endpoint = 'gemini-2.5-pro',
    max_iterations = 500,
    data_split_method = 'no_split')
AS
SELECT
  input AS prompt, output AS label
FROM `bqml_tutorial.wiki_auto_style_transfer_train`;
```
השאילתה תימשך כמה דקות, ולאחר מכן מודל gemini_tuned יופיע במערך הנתונים bqml_tutorial בחלונית Explorer. מכיוון שהשאילתה משתמשת בהצהרה CREATE MODEL כדי ליצור מודל, אין תוצאות לשאילתה.

בדיקת הביצועים של המודל שעבר התאמה

כדי לראות את הביצועים של המודל שעבר התאמה על נתוני ההערכה, מריצים את הפונקציה AI.GENERATE_TEXT:

במסוף Google Cloud , עוברים לדף BigQuery.

כניסה ל-BigQuery

בעורך השאילתות, מריצים את ההצהרה הבאה:

SELECT result, ground_truth
FROM
  AI.GENERATE_TEXT(
    MODEL `bqml_tutorial.gemini_tuned`,
    (
      SELECT
        input AS prompt, output AS ground_truth
      FROM `bqml_tutorial.wiki_auto_style_transfer_valid`
      LIMIT 10
    ));

המודל שעבר התאמה מייצר טקסט שדומה הרבה יותר בסגנון לתוכן האמת.

הערכת המודל שעבר התאמה

כדי להשוות בין התשובות של המודל שעבר התאמה לבין תשובות אידיאליות, משתמשים בפונקציה ML.EVALUATE:

במסוף Google Cloud , עוברים לדף BigQuery.

כניסה ל-BigQuery

בעורך השאילתות, מריצים את ההצהרה הבאה:

SELECT *
FROM
  ML.EVALUATE(
    MODEL `bqml_tutorial.gemini_tuned`,
    (
      SELECT
        input AS prompt, output AS label
      FROM `bqml_tutorial.wiki_auto_style_transfer_valid`
    ),
    STRUCT('text_generation' AS task_type));

התוצאה אמורה להיראות כך:

+---------------------+---------------------+-------------------------------------------+--------------------------------------------+
| bleu4_score         | rouge-l_precision   | rouge-l_recall      | rouge-l_f1_score    | evaluation_status                          |
+---------------------+---------------------+---------------------+---------------------+--------------------------------------------+
| 0.44878025403825506 | 0.57236062510796448 | 0.638794269320597   | 0.59591519400141835 | {                                          |
|                     |                     |                     |                     |  "num_successful_rows": 176,               |
|                     |                     |                     |                     |  "num_total_rows": 176                     |
|                     |                     |                     |                     | }                                          |
+---------------------+---------------------+ --------------------+---------------------+--------------------------------------------+

המודל המכוונן מציג שיפור משמעותי בביצועים, והוא עולה על מודל הבסיס בכל מדדי ההערכה.

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים, או להשאיר את הפרויקט ולמחוק את המשאבים בנפרד.

מחיקת הפרויקט

זהירות: כשמוחקים פרויקט:

התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המשימות במדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
מאבדים את מזהה הפרויקט בהתאמה אישית. כשיצרתם את הפרויקט, יכולתם לבחור לו מזהה פרויקט בהתאמה אישית כדי להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו.

אם אתם מתכננים להיעזר בכמה ארכיטקטורות, מדריכים או מדריכים למתחילים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

כדי למחוק Google Cloud פרויקט:

gcloud projects delete PROJECT_ID

מחיקת משאבים בודדים

אם רוצים לעשות שימוש חוזר בפרויקט, צריך למחוק את המשאבים שיצרתם בשביל המדריך הזה.

עוברים לדף BigQuery.

כניסה לדף BigQuery
מוחקים את מערך הנתונים bqml_tutorial. מחיקת מערך הנתונים מוחקת גם את המודלים והטבלאות.
1. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Datasets (מערכי נתונים).
2. ברשימה Datasets (מערכי נתונים), לוחצים על מערך הנתונים bqml_tutorial.
3. בחלונית הפרטים, לוחצים על מחיקה.
4. בתיבת הדו-שיח מחיקת מערך נתונים, לוחצים על מחיקה.

המאמרים הבאים

מידע נוסף על הפונקציה ML.EVALUATE
מידע נוסף על הפונקציה AI.GENERATE_TEXT
כדאי לעיין באפשרויות של כוונון מונחה למודלים מרוחקים.

שימוש בכוונון ובהערכה כדי לשפר את הביצועים של המודל קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

מטרות

עלויות

לפני שמתחילים

ההרשאות הנדרשות

יצירת מערך נתונים

המסוף

BQ

API

יצירת טבלאות בדיקה

צפייה בנתוני האימון

יצירת מודל בסיסי

בדיקת ביצועי המודל הבסיסי

הערכת מודל הבסיס

יצירת מודל שעבר כוונון

בדיקת הביצועים של המודל שעבר התאמה

הערכת המודל שעבר התאמה

הסרת המשאבים

מחיקת הפרויקט

מחיקת משאבים בודדים

המאמרים הבאים

שימוש בכוונון ובהערכה כדי לשפר את הביצועים של המודל