הטמעה של מסד נתונים לדוגמה של MariaDB ב-GDC עם air gap

במדריך הזה מוסבר שלב אחרי שלב איך לפרוס אשכול MariaDB 12 בזמינות גבוהה בשלושה אזורי זמינות בסביבת Google Distributed Cloud (GDC) מנותקת. הארכיטקטורה הזו משתמשת ב-Galera לאשכולות סינכרוניים עם כמה מאסטרים, ב-HAProxy לניתוב חיבורים חכם ובשירות קל משקל לבדיקת תקינות ב-Python לניהול מצב הצומת. ההטמעה הזו מתבססת אך ורק על מכונות וירטואליות (VM), ולכן היא עוקפת באופן גלוי את המגבלות הנוכחיות של GDC עם air gap בנוגע לאשכולות Kubernetes שנמתחים על פני אזורים, ומבטיחה עמידות מלאה בכמה אזורים בלי סיכון לאובדן נתונים.

זו דיאגרמת הארכיטקטורה:

ארכיטקטורה של שלוש מכונות וירטואליות שמריצה סטאק של שירותים באותו מיקום.

לפני שמתחילים

פריסת מכונות וירטואליות

פועלים לפי ההוראות במאמר יצירה והפעלה של מכונה וירטואלית כדי ליצור 3 מכונות וירטואליות ב-3 האזורים הזמינים.

מגדירים את הסביבה המקומית כדי להתחבר למכונות הווירטואליות באמצעות SSH עם זוג מפתחות: התחברות למכונה וירטואלית

המידע הזה נדרש כדי להעביר את החבילות באופן ידני באמצעות SCP: העברת קבצים

לצורך האימות השתמשנו במערכת ההפעלה Ubuntu 22.04 ובסוג המכונה n3-standard-2-gdc. בסביבת ייצור, כדאי להשתמש בסוג מכונה עם יותר משאבים.

משיגים את כתובות ה-IP של המכונות הווירטואליות באמצעות:

VM_NAME=$1

if [[ -z "$VM_NAME" ]]; then
  echo "Error: VM_NAME must be provided."
  echo "Usage: $0 <VM_NAME>"
  exit 1
fi

# 1. Get External IP from 'instances list'
EXT_IP=$(gdcloud compute instances list | awk -v vm="${VM_NAME}" '$1 == vm {print $5}')

if [[ -z "$EXT_IP" ]]; then
  echo "Error: Could not find VM '${VM_NAME}' in the instance list."
  exit 1
fi

INTERNAL_IP=$(gdcloud compute instances describe "${VM_NAME}" | awk '/^status:/ {in_status=1} in_status && /- [0-9]+\.[0-9]+\.[0-9]+\.[0-9]+/ {print $2; exit}' | cut -d'/' -f1)

if [[ -z "$INTERNAL_IP" ]]; then
  INTERNAL_IP="<Not assigned or not found>"
fi

echo "${VM_NAME}"
echo "External IP: ${EXT_IP}"
echo "Internal IP: ${INTERNAL_IP}"

הגדרת משתני סביבה

במדריך הזה תשתמשו במשתני הסביבה הבאים. מגדירים אותם בסשן המעטפת של תחנת העבודה המקומית:

export PROJECT_ID="your-project-id"
export VM1_NAME="db-node-1"
export VM2_NAME="db-node-2"
export VM3_NAME="db-node-3"
export VM1_IP="10.0.1.245" # Zone 1
export VM2_IP="10.0.1.241" # Zone 2
export VM3_IP="10.0.1.242" # Zone 3

הגדרת רשת (מדיניות הרשת של הפרויקט)

אם אתם צריכים לגשת למסד הנתונים מחוץ לפרויקט או מחוץ לארגון, זכרו להגדיר את מדיניות הרשת של הפרויקט (PNP) בהתאם.

פועלים לפי ההוראות בקטעים הרלוונטיים לתרחיש לדוגמה בסקירה הכללית של PNP.

הכנת תוכנה עם air gap

למכונות הווירטואליות המטורגטות אין גישה לאינטרנט, לכן קודם צריך להוריד את פריטי המידע בתחנת עבודה מחוברת.

הורדת חבילות באמצעות Docker

מריצים את הפקודה הבאה מתחנת העבודה המקומית באמצעות קונטיינר Docker של Ubuntu:

mkdir -p ./packages
docker run --rm -v "$(pwd)/packages:/packages" ubuntu:22.04 bash -c "
  apt-get update
  apt-get install curl
  curl -LsS https://r.mariadb.com/downloads/mariadb_repo_setup | bash
  apt-get update
  cd packages
  PACKAGES='mariadb-server mariadb-client mariadb-common mysql-common'
  apt-get download \$(apt-cache depends --recurse --no-recommends --no-suggests --no-conflicts --no-breaks --no-replaces --no-enhances --no-pre-depends \${PACKAGES} | grep '^\w')
  apt-get download libpam-modules-bin
"

העברה והתקנה

מעלים את קובצי ה-.deb שהורדתם אל /tmp/packages/ בכל 3 המכונות הווירטואליות ומתקינים אותם:

# From local workstation
scp ./packages/*.deb ${VM1_IP}:/tmp/packages/
scp ./packages/*.deb ${VM2_IP}:/tmp/packages/
scp ./packages/*.deb ${VM3_IP}:/tmp/packages/

# On each VM, run:
sudo apt update
sudo dpkg -i /tmp/packages/*.deb

מוודאים שאין שגיאות ב-dpkg. אם כן, בודקים ביומנים אילו חבילות deb חסרות וכוללים אותן בהורדה.

אתחול של MariaDB ו-Galera

הגדרת Galera בכל המכונות הווירטואליות

קודם כול, עוצרים את שרת mariadb:

sudo systemctl stop mariadb

כדי למנוע התנגשויות בין יציאות ל-HAProxy (שיהיה הבעלים של 3306), משנים את יציאת ברירת המחדל של MariaDB ל-3308. עורכים את /etc/mysql/mariadb.conf.d/60-galera.cnf בכל המכונות הווירטואליות:

[mysqld]
bind-address = 0.0.0.0
port = 3308
binlog_format = ROW
default-storage-engine = innodb
innodb_autoinc_lock_mode = 2

# Galera Provider Configuration
wsrep_on = ON
wsrep_provider = /usr/lib/galera/libgalera_smm.so
wsrep_cluster_name = "mariadb-ha-cluster"
wsrep_cluster_address = "gcomm://${VM1_IP},${VM2_IP},${VM3_IP}" # explicitly set the IPs, do not leave bash syntax / environment variable
wsrep_sst_method = rsync

# Node-specific (Update per VM)
wsrep_node_address = "${VM1_IP}" # explicitly set the IPs, do not leave bash syntax / environment variable. Change for VM 2 and VM 3
wsrep_node_name = "db-node-1"     # Change for VM 2 and VM 3

אתחול האשכול

רק ב-VM 1, מאתחלים את האשכול החדש:

sudo galera_new_cluster

הצטרפות לרפליקות

אחרי שהמכונה הווירטואלית הראשונה פועלת, מפעילים את שירות MariaDB במכונה הווירטואלית השנייה ובמכונה הווירטואלית השלישית בזו אחר זו:

sudo systemctl start mariadb

הערה: צריך להמתין עד שכל צומת יסונכרן באופן מלא לפני שמתחילים את הצומת הבא.

מוודאים שמסד הנתונים של HA פועל

בכל מכונה וירטואלית, מריצים את הפקודה:

sudo mariadb

ואז:

MariaDB [(none)]> SHOW STATUS LIKE 'wsrep_cluster_size';
+--------------------+-------+
| Variable_name      | Value |
+--------------------+-------+
| wsrep_cluster_size | 3     |
+--------------------+-------+
1 row in set (0.001 sec)

הערך הצפוי הוא 3.

בדיקת התקינות של Python

נשתמש בספריית http.server המובנית של Python ונעטוף אותה בשירות systemd כדי שהיא תפעל באופן אוטומטי ברקע ביציאה 9200.

יצירת משתמש במסד הנתונים

בהפעלה אחת של VM:

CREATE USER 'clustercheck_user'@'localhost' IDENTIFIED BY 'clustercheck_password';
FLUSH PRIVILEGES;

יצירת הסקריפט ב-Python

בכל 3 המכונות הווירטואליות, יוצרים את הסקריפט /usr/local/bin/clustercheck.py:

sudo nano /usr/local/bin/clustercheck.py

מדביקים את הקוד המדויק הזה:

#!/usr/bin/env python3
import mysql.connector
from http.server import BaseHTTPRequestHandler, HTTPServer

class HealthHandler(BaseHTTPRequestHandler):
    def do_GET(self):
        try:
            # Connect to backend MariaDB port 3308
            db = mysql.connector.connect(user='clustercheck_user', password='clustercheck_password', host='127.0.0.1', port=3308)
            cursor = db.cursor()
            cursor.execute("SHOW GLOBAL STATUS LIKE 'wsrep_local_state_comment'")
            state = cursor.fetchone()

            # Galera 'Synced' state means the node is fully healthy
            if state == 'Synced':
                self.send_response(200)
                self.end_headers()
                self.wfile.write(b"Node is Healthy and Synced.\n")
            else:
                self.send_response(503)
                self.end_headers()
                self.wfile.write(b"Node is unavailable.\n")
        except Exception as e:
            self.send_response(503)
            self.end_headers()

HTTPServer(('0.0.0.0', 9200), HealthHandler).serve_forever()

הופכים אותו לקובץ הפעלה:

sudo chmod +x /usr/local/bin/clustercheck.py

יצירת שירות systemd

יוצרים קובץ שירות כדי לנהל את הסקריפט ב-Python:

sudo nano /etc/systemd/system/clustercheck.service

מדביקים את ההגדרות הבאות:

[Unit]
Description=MariaDB Galera Health Check
After=network.target mariadb.service

[Service]
Type=simple
User=root
ExecStart=/usr/local/bin/clustercheck.py
Restart=always

[Install]
WantedBy=multi-user.target

מפעילים את השירות:

sudo systemctl daemon-reload
sudo systemctl enable --now clustercheck.service

אפשר לבדוק את זה באופן מקומי על ידי הפעלת curl -i http://127.0.0.1:9200.

הגדרת HAProxy

מבצעים את אותו תהליך כדי לקבל את החבילות של haproxy ולהעלות אותן למכונות הווירטואליות. לאחר מכן, מגדירים את קובץ התצורה של HAProxy בכל צומת כדי לטפל בניתוב התנועה.

הגדרת HAProxy

עורכים את /etc/haproxy/haproxy.cfg בכל המכונות הווירטואליות:

global
    log /dev/log local0
    user haproxy
    group haproxy
    daemon

defaults
    log global
    mode tcp
    option tcplog
    timeout connect 5000ms
    timeout client  50000ms
    timeout server  50000ms

# Write Port (Active/Backup)
listen galera_write
    bind *:3306
    mode tcp
    option httpchk GET /
    http-check expect status 200
    server db-node-1 10.0.1.245:3308 check port 9200
    server db-node-2 10.0.1.241:3308 check port 9200 backup
    server db-node-3 10.0.1.242:3308 check port 9200 backup

# Read Port (Round-Robin)
listen galera_read
    bind *:3307
    mode tcp
    balance roundrobin
    option httpchk GET /
    http-check expect status 200
    server db-node-1 10.0.1.245:3308 check port 9200
    server db-node-2 10.0.1.241:3308 check port 9200
    server db-node-3 10.0.1.242:3308 check port 9200

חשוב: צריך לשנות את כתובות ה-IP והשמות כך שיתאימו לכתובות ולשמות שלכם.

מפעילים מחדש את הצמתים אחד אחרי השני כדי להחיל את השינויים בצורה בטוחה:

sudo systemctl restart haproxy
sudo systemctl enable haproxy

אימות התנהגות הניתוב של HAProxy

מריצים את הפקודות הבאות כדי לוודא ש-HAProxy מעבד קריאות וכתיבות בהתאם לטופולוגיית הפעיל/גיבוי.

  1. אימות של ניתוב הכתיבה (פעיל/גיבוי): HAProxy מוגדר לשלוח את כל תעבורת הנתונים של יציאה 3306 רק לצומת 1, אלא אם צומת 1 לא פעיל. מריצים את הפקודה הזו 3 או 4 פעמים ברצף מהטרמינל של VM 2 או VM 3:

    mysql -h 127.0.0.1 -P 3306 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    התוצאה הצפויה: בכל פעם שתריצו את הפקודה, היא אמורה להחזיר את שם המארח של צומת 1 (למשל, db-node-1). למרות שאתם שולחים שאילתה ל-HAProxy המקומי ב-VM 2 או 3, הוא מעביר בצורה נכונה את חיבור הכתיבה דרך הרשת לצומת 1.

  2. אימות של ניתוב הקריאה (Round-Robin): HAProxy מוגדר להפיץ את התנועה של יציאה 3307 באופן שווה בין כל הצמתים המסונכרנים באופן מלא. מריצים את הפקודה הזו 3 או 4 פעמים ברצף:

    mysql -h 127.0.0.1 -P 3307 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    התוצאה הצפויה: הפלט אמור לעבור באופן שווה בין שמות המארחים של האשכול (למשל, db-node-1, אחר כך db-node-2 ואז db-node-3).

הגדרת מאזן עומסים גלובלי

כתובת IP וירטואלית (VIP) אחת ויציבה לאפליקציות באמצעות מאזן העומסים הגלובלי של GDC בשכבה 4. כדי להגדיר את מאזן העומסים הגלובלי הפנימי בשכבה 4 ולהגדיר את המכונות הווירטואליות כיעד שלו, פועלים לפי ההוראות במאמר הגדרת מאזני עומסים גלובליים פנימיים: הגדרת מכונות וירטואליות כיעד של מאזן עומסים.

בדיקת יתירות כשל אוטומטית

זו הבדיקה הכי חשובה. אתם צריכים להוכיח שאם צומת קורס, סקריפט Python מזהה את זה ו-HAProxy מנתב מחדש את התנועה באופן מיידי.

  1. שלב א': הדמיית כשל בצומת 1: מבצעים SSH לצומת 1 ועוצרים לחלוטין את מסד הנתונים:

    sudo systemctl stop mariadb
    
  2. שלב ב': בדיקה חוזרת של יציאת הכתיבה: מריצים שוב את בדיקת הכתיבה ממכונה וירטואלית 2 או 3:

    mysql -h 127.0.0.1 -P 3306 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    התוצאה הצפויה: צומת 2 (db-node-2) אמור לחזור באופן מיידי. HAProxy זיהה שצומת 1 לא פעיל באמצעות הסקריפט של Python וקידם את שרת הגיבוי הראשון.

  3. שלב ג': בודקים שוב את יציאת הקריאה: מריצים את בדיקת הקריאה כמה פעמים:

    mysql -h 127.0.0.1 -P 3307 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    התוצאה הצפויה: המעבר צריך להיות רק בין צומת 2 לצומת 3. צומת 1 הוסר לחלוטין מהרוטציה.

  4. שלב ד': שחזור ואימות של החזרה למצב תקין: מפעילים מחדש את MariaDB בצומת 1:

    sudo systemctl start mariadb
    

    מחכים כמה שניות עד שהסנכרון יסתיים (מצב 4), ואז מריצים את בדיקת הכתיבה (יציאה 3306) בפעם האחרונה. ‫HAProxy אמור לזהות באופן אוטומטי שצומת 1 תקין שוב, ולהעביר את תנועת הכתיבה בחזרה מצומת 2.