כדי להגן על כללי מדיניות בקרת הגישה ולהתכונן להתאוששות מאסון, אתם יכולים לגבות את סכימת מסד הנתונים של Ranger ב-Managed Service for Apache Spark עם אשכולות Ranger. שחזור הסכימה מאפשר לשחזר את הגדרות האבטחה או להעביר הרשאות בין אשכולות.
לפני שמתחילים
אם צריך, יוצרים קטגוריה. צריכה להיות לכם גישה לקטגוריה של Cloud Storage, שבה תשתמשו כדי לאחסן ולשחזר סכימה של Ranger.
כדי ליצור קטגוריה:
- במסוף Google Cloud , נכנסים לדף Buckets של Cloud Storage.
- לוחצים על Create.
- ממלאים את פרטי הקטגוריה בדף Create a bucket. כדי לעבור לשלב הבא לוחצים על Continue.
-
בקטע Get started, מבצעים את הפעולות הבאות:
- מזינים שם ייחודי גלובלי שעומד בדרישות למתן שמות של קטגוריות.
- כדי להוסיף תווית לקטגוריה, מרחיבים את הקטע Labels (), לוחצים על add_box Add label ומציינים
keyו-valueבשביל התווית.
-
בקטע Choose where to store your data, מבצעים את הפעולות הבאות:
- בוחרים Location type.
- בתפריט הנפתח Location type, בוחרים את המיקום שבו נתוני הקטגוריה יאוחסנו באופן קבוע.
- אם בוחרים בסוג המיקום dual-region, אפשר גם להפעיל את turbo replication באמצעות תיבת הסימון הרלוונטית.
- כדי להגדיר רפליקציה בין קטגוריות, בוחרים באפשרות Add cross-bucket replication via Storage Transfer Service ופועלים לפי השלבים הבאים:
הגדרת רפליקציה בין קטגוריות
- בתפריט Bucket, בוחרים קטגוריה.
בקטע Replication settings, לוחצים על Configure כדי לקבוע את ההגדרות של משימת הרפליקציה.
מופיעה החלונית Configure cross-bucket replication.
- כדי לסנן אובייקטים לשכפול לפי קידומת של שם האובייקט, מזינים את הקידומת שרוצים לכלול או להחריג אובייקטים ממנה, ואז לוחצים על Add a prefix.
- כדי להגדיר סוג אחסון לאובייקטים שנוצרה להם רפליקה, בוחרים סוג אחסון מהתפריט Storage class. אם מדלגים על השלב הזה, האובייקטים המשוכפלים ישתמשו כברירת מחדל בסוג האחסון של קטגוריית היעד.
- לוחצים על סיום.
-
בקטע Choose how to store your data, מבצעים את הפעולות הבאות:
- בוחרים סוג אחסון (storage class) שמוגדר כברירת מחדל לקטגוריה, או בוחרים ב-Autoclass לניהול אוטומטי של סוג האחסון של נתוני הקטגוריה.
- כדי להפעיל מרחב שמות היררכי, בקטע Optimize storage for data-intensive workloads בוחרים באפשרות Enable hierarchical namespace on this bucket.
- בקטע Choose how to control access to objects, בוחרים אם הקטגוריה אוכפת public access prevention או לא, ואז בוחרים access control method לאובייקטים של הקטגוריה.
-
בקטע Choose how to protect object data, מבצעים את הפעולות הבאות:
- בוחרים את האפשרויות שרוצים להגדיר לקטגוריה בקטע Data protection.
- כדי להפעיל מחיקה עם יכולת שחזור, מסמנים את התיבה Soft delete policy (For data recovery) ומציינים את מספר הימים שבהם רוצים לשמור את האובייקטים אחרי המחיקה.
- כדי להגדיר ניהול גרסאות של אובייקטים, לוחצים על תיבת הסימון ניהול גרסאות של אובייקטים (לניהול גרסאות) ומציינים את המספר המקסימלי של גרסאות לכל אובייקט ואת מספר הימים שאחריהם פג התוקף של הגרסאות הלא עדכניות.
- כדי להפעיל את מדיניות שמירת הנתונים על אובייקטים וקטגוריות, לוחצים על תיבת הסימון Retention (For compliance) ואז מבצעים את הפעולות הבאות:
- כדי להפעיל את נעילת שמירת האובייקטים, לוחצים על תיבת הסימון Enable object retention.
- כדי להפעיל את נעילת הקטגוריה, לוחצים על תיבת הסימון הגדרת מדיניות שמירת נתונים בקטגוריה ובוחרים יחידת זמן ואת משך הזמן של תקופת השמירה.
- כדי לבחור איך להצפין את נתוני האובייקטים, מרחיבים את הקטע Data encryption () ובוחרים שיטה ל-Data encryption.
- בוחרים את האפשרויות שרוצים להגדיר לקטגוריה בקטע Data protection.
-
בקטע Get started, מבצעים את הפעולות הבאות:
- לוחצים על יצירה.
גיבוי סכימת Ranger
משתמשים ב-SSH כדי להתחבר לצומת הראשי של Managed Service for Apache Spark באשכול עם הסכימה של Ranger. מריצים את הפקודות שבקטע הזה בסשן הטרמינל של SSH שפועל בצומת הראשי.
מגדירים את משתני הסביבה.
BUCKET_NAME=bucket name \ MYSQL_PASSWORD=MySQL password SCHEMA_FILE=schema filename
מחליפים את מה שכתוב בשדות הבאים:
MySQL password: אפשר לפתוח את
/etc/mysql/my.cnfבצומת המאסטר של האשכול כדי להעתיק את הסיסמה של MySQL.bucket name: השם של הקטגוריה של Cloud Storage שבה תאוחסן הסכימה של Ranger.
schema filename: מציינים שם קובץ, בלי סיומת שם הקובץ
.sql. הסכימה של Ranger נשמרת בקובץ הזה בצומת הראשי, ואז נשמרת ב-bucket name ב-Cloud Storage .
עוצרים את שירותי Hive.
sudo systemctl stop hive-metastore.service sudo systemctl stop hive-server2.service
למנוע שינויים בטבלאות הסכימה של Ranger.
mysql -u root -p${MYSQL_PASSWORD} REVOKE ALL PRIVILEGES ON ranger.* from 'rangeradmin'@'localhost'; GRANT SELECT ON ranger.* TO 'rangeradmin'@'localhost'; FLUSH PRIVILEGES; SHOW GRANTS FOR 'rangeradmin'@'localhost'; exit;שומרים את הסכימה של Ranger בקובץ
.sql.mysqldump -u root -p${MYSQL_PASSWORD} ranger > ${SCHEMA_FILE}.sqlאיפוס הרשאות Ranger.
mysql -u root -p${MYSQL_PASSWORD} REVOKE SELECT ON ranger.* from 'rangeradmin'@'localhost'; GRANT ALL PRIVILEGES ON ranger.* to 'rangeradmin'@'localhost'; FLUSH PRIVILEGES; SHOW GRANTS FOR 'rangeradmin'@'localhost'; exit;מפעילים מחדש את השירותים של Hive ו-Ranger.
sudo systemctl start hive-metastore.service sudo systemctl start hive-server2.service sudo systemctl restart ranger-admin.service sudo systemctl restart ranger-usersync.service
מעתיקים את הסכימה של Ranger ל-Cloud Storage.
gcloud storage cp ${SCHEMA_FILE}.sql gs://${BUCKET_NAME}
שחזור סכימה של Ranger
משתמשים ב-SSH כדי להתחבר לצומת הראשי של Managed Service for Apache Spark באשכול שבו רוצים לשחזר את הסכימה. מריצים את הפקודות שבקטע הזה בסשן הטרמינל של SSH שפועל בצומת הראשי.
מגדירים את משתני הסביבה.
BUCKET_NAME=bucket name \ MYSQL_PASSWORD=MySQL password SCHEMA_FILE=schema filename
מחליפים את מה שכתוב בשדות הבאים:
MySQL password: אפשר לפתוח את
/etc/mysql/my.cnfבצומת המאסטר של האשכול כדי להעתיק את הסיסמה של MySQL.bucket name: שם הקטגוריה ב-Cloud Storage שמכילה את הסכימה השמורה של Ranger.
schema filename: שם הקובץ של הסכימה של Ranger, בלי הסיומת
.sql, שנשמר ב-bucket name ב-Cloud Storage.
עוצרים את שירותי Hive.
sudo systemctl stop hive-metastore.service sudo systemctl stop hive-server2.service
למנוע שינויים בטבלאות הסכימה של Ranger.
mysql -u root -p${MYSQL_PASSWORD} REVOKE ALL PRIVILEGES ON ranger.* from 'rangeradmin'@'localhost'; GRANT SELECT ON ranger.* TO 'rangeradmin'@'localhost'; FLUSH PRIVILEGES; SHOW GRANTS FOR 'rangeradmin'@'localhost'; exit;מעתיקים את קובץ הסכימה
.sqlשל Ranger ב-Cloud Storage לצומת הראשי של האשכול.gcloud storage cp ${BUCKET_NAME}/${SCHEMA_FILE}.sql .משחזרים את הסכימה של Ranger. השלב הזה מחליף את התוכן של הסכימה הקיימת של Ranger.
mysqldump -u root -p${MYSQL_PASSWORD} ranger < ${SCHEMA_FILE}.sqlאיפוס הרשאות Ranger.
mysql -u root -p${MYSQL_PASSWORD} REVOKE SELECT ON ranger.* from 'rangeradmin'@'localhost'; GRANT ALL PRIVILEGES ON ranger.* to 'rangeradmin'@'localhost'; FLUSH PRIVILEGES; SHOW GRANTS FOR 'rangeradmin'@'localhost'; exit;מעדכנים את קובצי התצורה של Ranger. משנים את מארח Ranger DB לשם מארח חדש של מסד נתונים בקבצים הבאים, עם המאפיינים הבאים:
קובץ מאפיין (property) ranger-hdfs-security.xmlranger.plugin.hdfs.policy.rest.urlranger-yarn-security.xmlranger.plugin.yarn.policy.rest.urlמפעילים מחדש את השירותים של Hive ו-Ranger.
sudo systemctl start hive-metastore.service sudo systemctl start hive-server2.service sudo systemctl restart ranger-admin.service sudo systemctl restart ranger-usersync.service