יצירה וניהול של מיקומי נתונים

בדף הזה מוסבר איך ליצור ולנהל מיקומי נתונים ב-Spanner.

בסקירה הכללית על חלוקה למחיצות במיקומים שונים מוסבר איך התכונה פועלת.

ניהול המטא-נתונים של הניתוב

כשהאפליקציה צריכה לקרוא או לכתוב נתונים, Spanner משתמש במטא-נתונים של הניתוב כדי למצוא את השרתים שבהם נמצאות השורות הספציפיות שנדרשות.

הבחירה איפה לאחסן את המטא-נתונים של הניתוב תלויה בשאלה אם רוב בקשות הלקוח הן לנתונים באותו אזור או מחוץ לאזור, ובשאלה אם אתם משתמשים בהגדרה של מספר אזורים. הגדרות המטא-נתונים של הניתוב משפיעות על זמן האחזור, ואי אפשר לשנות אותן אחרי שיוצרים מיקומים.

האפשרות per_placement_routing_metadata קובעת איפה נמצאים המטא-נתונים של הניתוב, בהתאם להגדרות הבאות:

  • ‫TRUE: אם הערך הוא TRUE, המטא-נתונים של הניתוב נמצאים באותה מחיצה של המכונה שבה נמצאים הנתונים. המטא-נתונים של הניתוב מחולקים לפי אזור. כך זמן האחזור של בקשות לנתונים באזור מתקצר (כלומר, הלקוח ונתוני המשתמש המבוקשים נמצאים באותו אזור), ו-Spanner לא צריך לבצע קריאות מחוץ לאזור כדי לנתב מטא-נתונים. עם זאת, ההגדרה הזו עלולה להגדיל את זמן האחזור של בקשות מחוץ לאזור, של חיפושים שליליים שבהם לא קיימות שורות מיקום ושל שאילתות שצריכות אינדקס גלובלי.

    אנחנו ממליצים על ההגדרה הזו אם אתם צופים שרוב הבקשות יהיו לנתוני משתמשים באותו אזור כמו הלקוח, ובמחיצת ברירת המחדל שלכם אין אזורים לקריאה וכתיבה או לקריאה בלבד שנמצאים באותו מיקום כמו כל המחיצות של המכונה.

  • ‫FALSE: המטא-נתונים של הניתוב מרוכזים במחיצת ברירת המחדל.

    מומלץ להשתמש בהגדרה הזו אם אתם צופים שהלקוחות יחפשו לעיתים קרובות נתונים מחוץ לאזור, למשל לקוח באזור האיחוד האירופי שמחפש נתונים של משתמשים בארה"ב.

    כדאי להשתמש בהגדרה הזו גם אם מחיצת ברירת המחדל של המכונה משתמשת בהגדרה של מספר אזורים, שמספקת אזורים לקריאה וכתיבה או לקריאה בלבד שנמצאים באותו מיקום כמו כל המחיצות של המכונה. בהגדרה הזו, רפליקה של המטא-נתונים המלאים של הניתוב מאוחסנת בכל רפליקה של מחיצת ברירת המחדל של המכונה. לכן, בכל האזורים עם מחיצות של מכונות יש רפליקה של המטא-נתונים של הניתוב. כך, בקשות מתוך האזור ומחוץ לאזור יכולות לבצע חיפוש מהיר של מטא-נתונים של ניתוב באופן מקומי.

הגדרת האפשרות per_placement_routing_metadata

האפשרות per_placement_routing_metadata מקבלת ערכים בוליאניים. אם האפשרות הזו היא TRUE, המטא-נתונים של הניתוב נמצאים באותה מחיצה של המכונה שבה נמצאים הנתונים. אם FALSE, המטא-נתונים של הניתוב נמצאים במחיצת ברירת המחדל של המכונה.

כדי להגדיר את האפשרות per_placement_routing_metadata, צריך לעדכן את הסכימה של מסד הנתונים. במאמר עדכון סכימות מוסבר איך לעדכן סכימה בדרכים אחרות, כמו ספריות לקוח או ממשקי ה-API ל-REST ול-RPC.

בוחרים באחת מהאפשרויות הבאות:

המסוף

  1. נכנסים לדף Instances במסוף Google Cloud .

    כניסה לדף Instances

  2. בוחרים את המכונה עם המחיצות שנוצרו על ידי המשתמש.

  3. בוחרים את מסד הנתונים שבו רוצים להגדיר מטא-נתונים של ניתוב.

  4. בתפריט הניווט, לוחצים על Spanner Studio.

  5. בדף Spanner Studio, לוחצים על New tab או משתמשים בכרטיסיית העריכה הריקה.

  6. מזינים את הצהרת ה-DDL של ALTER DATABASE (GoogleSQL,‏ PostgreSQL):

    GoogleSQL

    ALTER DATABASE `DATABASE_NAME`
      SET OPTIONS (per_placement_routing_metadata = METADATA_BOOLEAN);
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫DATABASE_NAME: שם מסד הנתונים.
    • ‫METADATA_BOOLEAN: הערך של per_placement_routing_metadata. אם TRUE, המטא-נתונים של הניתוב נמצאים באותה מחיצה של המכונה כמו הנתונים. אם הערך הוא FALSE, המטא-נתונים של הניתוב נמצאים במחיצת ברירת המחדל של המכונה.

    PostgreSQL

    ALTER DATABASE "DATABASE_NAME"
      SET spanner.per_placement_routing_metadata = METADATA_BOOLEAN;
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫DATABASE_NAME: שם מסד הנתונים.
    • ‫METADATA_BOOLEAN: הערך של per_placement_routing_metadata. אם TRUE, המטא-נתונים של הניתוב נמצאים באותה מחיצה של המכונה כמו הנתונים. אם הערך הוא FALSE, המטא-נתונים של הניתוב נמצאים במחיצת ברירת המחדל של המכונה.
  7. לוחצים על Run.

gcloud

כדי להגדיר את האפשרות per_placement_routing_metadata באמצעות Google Cloud CLI, משתמשים ב-gcloud spanner databases ddl update:

GoogleSQL

gcloud spanner databases ddl update DATABASE_NAME \
    --instance=INSTANCE_ID \
    --ddl='ALTER DATABASE `DATABASE_NAME`
      SET OPTIONS (per_placement_routing_metadata = METADATA_BOOLEAN)'

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DATABASE_NAME: שם מסד הנתונים.
  • ‫INSTANCE_ID: המזהה של מכונת Spanner.
  • ‫METADATA_BOOLEAN: הערך של per_placement_routing_metadata. אם TRUE, המטא-נתונים של הניתוב נמצאים באותה מחיצה של המכונה כמו הנתונים. אם הערך הוא FALSE, המטא-נתונים של הניתוב נמצאים במחיצת ברירת המחדל של המכונה.

PostgreSQL

gcloud spanner databases ddl update DATABASE_NAME \
    --instance=INSTANCE_ID \
    --ddl='ALTER DATABASE "DATABASE_NAME"
      SET spanner.per_placement_routing_metadata = METADATA_BOOLEAN'

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DATABASE_NAME: שם מסד הנתונים.
  • ‫INSTANCE_ID: המזהה של מכונת Spanner.
  • ‫METADATA_BOOLEAN: הערך של per_placement_routing_metadata. אם TRUE, המטא-נתונים של הניתוב נמצאים באותה מחיצה של המכונה כמו הנתונים. אם הערך הוא FALSE, המטא-נתונים של הניתוב נמצאים במחיצת ברירת המחדל של המכונה.

יצירת מיקום נתונים

אחרי שיוצרים את המחיצות ומסדי הנתונים של מכונת Spanner ומגדירים את האפשרות per_placement_routing_metadata, יוצרים את המיקום.

המסוף

  1. נכנסים לדף Instances במסוף Google Cloud .

    מכונות

  2. בוחרים את המכונה עם המחיצות שנוצרו על ידי המשתמש.

  3. בוחרים את מסד הנתונים שרוצים לחלק את הנתונים שלו למחיצות.

  4. בתפריט הניווט, לוחצים על Spanner Studio.

  5. בדף Spanner Studio, לוחצים על New tab או משתמשים בכרטיסיית העריכה הריקה.

  6. מזינים את הצהרת ה-DDL של CREATE PLACEMENT (GoogleSQL,‏ PostgreSQL).

    לדוגמה, אפשר להריץ את הפקודה הבאה כדי ליצור טבלת מיקום europeplacement במחיצת המכונה europe-partition:

    GoogleSQL

    CREATE PLACEMENT europeplacement OPTIONS (instance_partition="europe-partition");
    

    PostgreSQL

    CREATE PLACEMENT europeplacement WITH (instance_partition='europe-partition');
    

    אופציונלי: אפשר גם להשתמש בחלונית Object Explorer כדי להציג את אובייקטי המיקום, לחפש אותם ולבצע בהם פעולות. מידע נוסף זמין במאמר ניתוח הנתונים.

  7. לוחצים על Run.

gcloud

כדי ליצור מיקום באמצעות פקודת ה-CLI של gcloud, משתמשים ב-gcloud spanner databases ddl update.

לדוגמה, יוצרים מיקום במחיצת המכונה europe-partition:

GoogleSQL

gcloud spanner databases ddl update example-db \
  --instance=test-instance \
  --ddl="CREATE PLACEMENT europeplacement OPTIONS (instance_partition='europe-partition')"

PostgreSQL

gcloud spanner databases ddl update example-db \
  --instance=test-instance \
  --ddl="CREATE PLACEMENT europeplacement WITH (instance_partition='europe-partition')"

הגדרת המנהיג שיופיע כברירת מחדל במיקום מודעה

אתם יכולים להגדיר את האזור הראשי שמוגדר כברירת מחדל למיקום, אם המיקום נמצא במספר אזורים. האזור הראשי החדש חייב להיות אחד משני האזורים לקריאה ולכתיבה במיקום במספר אזורים. מידע נוסף זמין בטבלאות ההגדרות הזמינות במספר אזורים.

אם לא מגדירים אזור ראשי, המיקום משתמש באזור הראשי שמוגדר כברירת מחדל לפי המיקום שלו. בטבלאות של הגדרות זמינות במספר אזורים מפורטים האזורים הראשיים של כל מיקום במספר אזורים. האזור הראשי שמוגדר כברירת מחדל מסומן באות L. לדוגמה, האזור הראשי שמוגדר כברירת מחדל ב-nam8 נמצא בלוס אנג'לס (us-west2). בהוראות הבאות מוסבר איך להגדיר אותו לאורגון (us-west1).

המסוף

  1. נכנסים לדף Instances במסוף Google Cloud .

    מכונות

  2. בוחרים את המכונה עם המחיצות שנוצרו על ידי המשתמש.

  3. בוחרים את מסד הנתונים שרוצים לחלק את הנתונים שלו למחיצות.

  4. בתפריט הניווט, לוחצים על Spanner Studio.

  5. בדף Spanner Studio, לוחצים על New tab או משתמשים בכרטיסיית העריכה הריקה.

  6. מזינים את הצהרת ה-DDL של CREATE PLACEMENT (GoogleSQL,‏ PostgreSQL).

    לדוגמה, אפשר להריץ את הפקודה הבאה כדי ליצור טבלת מיקום nam8placement במחיצת המכונה nam8-partition, כשמיקום ברירת המחדל של ה-leader מוגדר כ-us-west1:

    GoogleSQL

    CREATE PLACEMENT `nam8placement`
      OPTIONS (instance_partition="nam8-partition", default_leader="us-west1");
    

    PostgreSQL

    CREATE PLACEMENT nam8placement WITH (instance_partition='nam8-partition', default_leader='us-west1');
    

    אופציונלי: אפשר גם להשתמש בחלונית Object Explorer כדי להציג את אובייקטי המיקום, לחפש אותם ולבצע בהם פעולות. מידע נוסף זמין במאמר ניתוח הנתונים.

  7. לוחצים על Run.

gcloud

כדי ליצור מיקום באמצעות פקודת ה-CLI של gcloud, משתמשים ב-gcloud spanner databases ddl update.

לדוגמה, כדי ליצור טבלת מיקום nam8placement במחיצת המכונה nam8-partition עם מיקום ברירת המחדל של ה-leader שמוגדר כ-us-west1:

GoogleSQL

gcloud spanner databases ddl update example-db \
  --instance=test-instance \
  --ddl="CREATE PLACEMENT nam8placement \
     OPTIONS (instance_partition='nam8-partition', default_leader='us-west1')"

PostgreSQL

gcloud spanner databases ddl update example-db \
  --instance=test-instance \
  --ddl="CREATE PLACEMENT nam8placement WITH (instance_partition='nam8-partition', default_leader='us-west1')"

הסרת מיקום נתונים

לפני שמוחקים מיקום, צריך להסיר ממנו את כל נתוני השורות. אחרי שתעשו את זה, תוכלו להשתמש במסוף Google Cloud או ב-CLI של gcloud כדי להסיר את המיקום.

המסוף

  1. בתפריט הניווט, לוחצים על Spanner Studio.
  2. בדף Spanner Studio, לוחצים על New tab או משתמשים בכרטיסיית העריכה הריקה.
  3. מזינים את הצהרת ה-DDL של DROP PLACEMENT (GoogleSQL,‏ PostgreSQL).

    לדוגמה, אפשר להריץ את הפקודה הבאה כדי למחוק את טבלת מיקומי המודעות europeplacement:

    GoogleSQL

    DROP PLACEMENT europeplacement;
    

    PostgreSQL

    DROP PLACEMENT europeplacement;
    

gcloud

כדי להסיר מיקום באמצעות פקודת ה-CLI של gcloud, משתמשים ב-gcloud spanner databases ddl update.

לדוגמה, מיקום נקודת האיסוף europeplacement:

gcloud spanner databases ddl update example-db \
  --instance=test-instance \
  --ddl="DROP PLACEMENT europeplacement"

שגיאות במיקום של פריטים שנגררו

אם המיקום נמצא בשימוש, הפעולה DROP PLACEMENT תיכשל ותופיע הודעת שגיאה כמו: "Statement failed: Placement PLACEMENT_NAME can't be dropped because it is in use by placement table PLACEMENT_TABLE_NAME". אם נתקלתם בשגיאה הזו, בצעו את השלבים הבאים:

  1. משנים את האפליקציה כך שתפסיק להוסיף או לעדכן שורות עם המיקום שרוצים להסיר.
  2. אחת משתי האפשרויות:

    • מעבירים את השורות הקיימות של המיקום שרוצים למחוק למיקום אחר באמצעות פקודת DML מחולקת, כמו בדוגמה הבאה:

      UPDATE PLACEMENT_TABLE_NAME SET LOCATION = NEW_PLACEMENT_NAME
      WHERE LOCATION = ORIGINAL_PLACEMENT_NAME;
      
    • מוחקים את השורות של מיקומי המודעות באמצעות פקודת DML מחולקת למחיצות, כמו בדוגמה הבאה:

      DELETE FROM PLACEMENT_TABLE_NAME
      WHERE LOCATION = ORIGINAL_PLACEMENT_NAME;
      

      פקודות ה-DML הקודמות, הספציפיות למיקום, פועלות רק עם DML מחולק למחיצות. הן ייכשלו כפקודות DML רגילות. מידע נוסף מופיע בקטע מגבלות. אפשר גם להשתמש ב-mutation API כדי להעביר או להסיר שורות של מיקומי מודעות.

ביטול פעולה של DROP PLACEMENT

אתם יכולים לבטל פעולת DROP PLACEMENT בכל שלב לפני שהפעולה הארוכה מוחקת לגמרי את מיקום המודעה מהסכימה של מסד הנתונים. במאמר ניהול ומעקב אחרי פעולות ממושכות מוסבר איך לקבל את מזהה הפעולה הממושכת כדי לבדוק את הסטטוס או לבטל את הפעולה.

יצירת טבלה עם מפתח מיקום מודעה

המסוף

  1. בתפריט הניווט, לוחצים על Spanner Studio.
  2. בדף Spanner Studio, לוחצים על New tab או משתמשים בכרטיסיית העריכה הריקה.
  3. מזינים את הצהרת ה-DDL של CREATE TABLE (GoogleSQL,‏ PostgreSQL).

    לדוגמה, אפשר ליצור טבלת Singers שמשתמשת במפתח מיקום כדי לחלק את נתוני הזמרים למחיצות:

    GoogleSQL

    CREATE TABLE Singers (
      SingerId INT64 NOT NULL,
      SingerName STRING(MAX) NOT NULL,
      ...
      Location STRING(MAX) NOT NULL PLACEMENT KEY
    ) PRIMARY KEY (SingerId);
    

    PostgreSQL

    CREATE TABLE Singers (
      SingerId bigint PRIMARY KEY,
      SingerName varchar(1024),
      ...
      Location varchar(1024) NOT NULL PLACEMENT KEY
    );
    

gcloud

כדי ליצור טבלה, משתמשים בפקודה gcloud spanner databases ddl update.

לדוגמה, אפשר ליצור טבלת Singers שמשתמשת במפתח מיקום כדי לחלק את נתוני הזמרים למחיצות:

GoogleSQL

gcloud spanner databases ddl update example-db \
  --instance=test-instance \
  --ddl="CREATE TABLE Singers ( SingerId INT64 NOT NULL, SingerName STRING(MAX) NOT NULL, Location STRING(MAX) NOT NULL PLACEMENT KEY ) PRIMARY KEY (SingerId);"

PostgreSQL

gcloud spanner databases ddl update example-db \
  --instance=test-instance \
  --ddl="CREATE TABLE Singers ( SingerId bigint PRIMARY KEY, SingerName varchar(1024), Location varchar(1024) NOT NULL PLACEMENT KEY );"

עריכת טבלה עם מפתח מיקום

אי אפשר להסיר מפתח מיקום מטבלה. בנוסף, אי אפשר להוסיף מפתח מיקום מודעה לטבלה אחרי שהיא נוצרה. עם זאת, אתם יכולים להשתמש בהצהרת ה-DDL‏ ALTER TABLE (GoogleSQL,‏ PostgreSQL) כדי לשנות שדות אחרים בטבלה, למשל, על ידי הוספה והסרה של עמודות מפתח שאינן מיקום.

מחיקת טבלה עם מפתח מיקום

לפני שמוחקים טבלה עם מפתח מיקום, צריך:

  1. מוחקים את כל השורות בטבלת מיקומי המודעות.
  2. ממתינים עד שהבדיקה version_retention_period של מסד הנתונים תעבור. מידע נוסף זמין במאמר שחזור מערכת מנקודה מסוימת בזמן (PITR). לאחר מכן, פועלים לפי השלבים הבאים:

המסוף

  1. בתפריט הניווט, לוחצים על Spanner Studio.
  2. בדף Spanner Studio, לוחצים על New tab או משתמשים בכרטיסיית העריכה הריקה.
  3. מזינים את הצהרת ה-DDL של DROP TABLE (GoogleSQL,‏ PostgreSQL).

    לדוגמה, מחיקת הטבלה Singers:

    DROP TABLE Singers;
    

gcloud

כדי למחוק טבלה, משתמשים ב-gcloud spanner databases ddl update.

לדוגמה, מחיקת הטבלה Singers:

gcloud spanner databases ddl update example-db \
  --instance=test-instance \
  --ddl="DROP TABLE Singers"

הוספת שורה בטבלת מיקומים

המסוף

  1. בתפריט הניווט, לוחצים על Spanner Studio.
  2. בדף Spanner Studio, לוחצים על New tab או משתמשים בכרטיסיית העריכה הריקה.
  3. מזינים את הצהרת ה-DDL של INSERT INTO (GoogleSQL,‏ PostgreSQL).

    לדוגמה, מוסיפים את הזמר Marc Richards לטבלה Singers ומחלקים אותה למחיצות ב-europeplacement:

    INSERT INTO Singers(SingerId, SingerName, Location)
    VALUES (1, 'Marc Richards', 'europeplacement')
    

gcloud

כדי לכתוב נתונים בטבלה, משתמשים ב-gcloud spanner rows insert.

לדוגמה, מוסיפים את הזמר Marc Richards לטבלה Singers ומחלקים אותה למחיצות ב-europeplacement:

gcloud spanner rows insert --table=Singers --database=example-db \
  --instance=test-instance --data=SingerId=1,SingerName='Marc Richards',Location='europeplacement'

עדכון שורה בטבלת מיקומים

המסוף

  1. בתפריט הניווט, לוחצים על Spanner Studio.
  2. בדף Spanner Studio, לוחצים על New tab או משתמשים בכרטיסיית העריכה הריקה.
  3. משתמשים ב-DML או במוטציות כדי לעדכן נתונים בטבלת מיקום מודעה.

    לדוגמה, עדכון השם של singerid=1 בטבלה Singers ל-Catalina Smith:

    UPDATE Singers s
    SET s.name='Catalina Smith'
    WHERE s.id=1;
    

gcloud

כדי לעדכן נתונים בטבלת מיקומים, משתמשים ב-gcloud spanner rows update.

לדוגמה, עדכון השם של singerid=1 בטבלה Singers ל-Catalina Smith:

gcloud spanner rows update --table=Singers --database=example-db \
  --instance=test-instance --data=SingerId=1,SingerName='Catalina Smith'

העברת שורה בטבלת מיקומים

המסוף

  1. אם עדיין לא עשיתם את זה, יוצרים מחיצה ומיקום חדשים של המכונה.
  2. בתפריט הניווט, לוחצים על Spanner Studio.
  3. בדף Spanner Studio, לוחצים על New tab או משתמשים בכרטיסיית העריכה הריקה.
  4. משתמשים ב-DML או במוטציות כדי להעביר נתונים למחיצה החדשה של המכונה.

    לדוגמה, מעבירים את singerid=1 בטבלה Singers אל asiaplacement:

    UPDATE Singers s
    SET s.location='asiaplacement'
    WHERE s.id=1;
    

gcloud

אחרי שיוצרים את המחיצה של המכונה ואת המיקום שאליו רוצים להעביר את הנתונים, משתמשים ב-gcloud spanner rows update.

לדוגמה, מעבירים את singerid=1 בטבלה Singers אל asiaplacement:

gcloud spanner rows update --table=Singers --database=example-db \
  --instance=test-instance --data=SingerId=1,Location='asiaplacement'

מחיקת שורה בטבלת מיקומים

המסוף

  1. בתפריט הניווט, לוחצים על Spanner Studio.
  2. בדף Spanner Studio, לוחצים על New tab או משתמשים בכרטיסיית העריכה הריקה.
  3. משתמשים ב-DML או במוטציות כדי למחוק נתונים.

    לדוגמה, מחיקת singerid=1 בטבלה Singers:

    DELETE FROM Singers s
    WHERE s.id=1;
    

gcloud

כדי למחוק נתונים, משתמשים בסמל gcloud spanner rows delete.

לדוגמה, מחיקת singerid=1 בטבלה Singers:

gcloud spanner rows delete --table=Singers --database=example-db \
  --instance=test-instance --keys=1

שליחת שאילתה על נתונים בטבלת מיקומי מודעות

המסוף

  1. בתפריט הניווט, לוחצים על Spanner Studio.
  2. בדף Spanner Studio, לוחצים על New tab או משתמשים בכרטיסיית העריכה הריקה.
  3. מריצים את השאילתה.

    לדוגמה, שולחים שאילתה לטבלה Singers:

    SELECT * FROM Singers s WHERE s.SingerId=1;
    

gcloud

כדי לשלוח שאילתות לגבי נתונים, משתמשים ב-gcloud spanner databases execute-sql.

לדוגמה, שולחים שאילתה לטבלה Singers:

gcloud spanner databases execute-sql example-db \
  --instance=test-instance \
  --sql='SELECT * FROM Singers s WHERE s.SingerId=1'

המאמרים הבאים