本指南提供了一个全面的分步教程,介绍如何在 Google Distributed Cloud (GDC) 网闸隔离环境中跨三个可用区部署高可用性 MariaDB 12 集群。此架构利用 Galera 实现同步多主集群,利用 HAProxy 实现智能连接路由,并利用轻量级 Python 健康检查服务管理节点状态。通过严格利用虚拟机 (VM),此实现方式明显绕过了当前 GDC 网闸隔离配置在跨可用区 Kubernetes 延伸集群方面的限制,从而确保了完整的多可用区弹性,同时避免了数据丢失风险。
这是架构图:

准备工作
部署虚拟机
按照创建和启动虚拟机实例中的说明,在 3 个可用区中创建 3 个虚拟机。
配置本地环境,以便使用密钥对通过 SSH 连接到虚拟机:连接到虚拟机
手动 SCP 软件包时需要用到此权限:转移文件
为了进行验证,我们使用了 Ubuntu 22.04 操作系统和 n3-standard-2-gdc 机器类型。对于生产环境,请使用具有更多资源的机器类型。
使用以下命令获取虚拟机的 IP:
VM_NAME=$1
if [[ -z "$VM_NAME" ]]; then
echo "Error: VM_NAME must be provided."
echo "Usage: $0 <VM_NAME>"
exit 1
fi
# 1. Get External IP from 'instances list'
EXT_IP=$(gdcloud compute instances list | awk -v vm="${VM_NAME}" '$1 == vm {print $5}')
if [[ -z "$EXT_IP" ]]; then
echo "Error: Could not find VM '${VM_NAME}' in the instance list."
exit 1
fi
INTERNAL_IP=$(gdcloud compute instances describe "${VM_NAME}" | awk '/^status:/ {in_status=1} in_status && /- [0-9]+\.[0-9]+\.[0-9]+\.[0-9]+/ {print $2; exit}' | cut -d'/' -f1)
if [[ -z "$INTERNAL_IP" ]]; then
INTERNAL_IP="<Not assigned or not found>"
fi
echo "${VM_NAME}"
echo "External IP: ${EXT_IP}"
echo "Internal IP: ${INTERNAL_IP}"
配置环境变量
在本指南中,您将使用以下环境变量。在本地工作站 shell 会话中设置这些变量:
export PROJECT_ID="your-project-id"
export VM1_NAME="db-node-1"
export VM2_NAME="db-node-2"
export VM3_NAME="db-node-3"
export VM1_IP="10.0.1.245" # Zone 1
export VM2_IP="10.0.1.241" # Zone 2
export VM3_IP="10.0.1.242" # Zone 3
网络配置(项目网络政策)
如果您需要访问项目外部或组织外部的数据库,请务必相应地设置 PNP(项目网络政策)。
根据应用场景,按照 PNP 概览中的各个部分进行操作。
经过网闸隔离的软件准备
由于目标虚拟机无法访问互联网,因此您必须先在已连接的工作站上下载工件。
通过 Docker 下载软件包
使用 Ubuntu Docker 容器在本地工作站中运行以下命令:
mkdir -p ./packages
docker run --rm -v "$(pwd)/packages:/packages" ubuntu:22.04 bash -c "
apt-get update
apt-get install curl
curl -LsS https://r.mariadb.com/downloads/mariadb_repo_setup | bash
apt-get update
cd packages
PACKAGES='mariadb-server mariadb-client mariadb-common mysql-common'
apt-get download \$(apt-cache depends --recurse --no-recommends --no-suggests --no-conflicts --no-breaks --no-replaces --no-enhances --no-pre-depends \${PACKAGES} | grep '^\w')
apt-get download libpam-modules-bin
"
转移并安装
将下载的 .deb 文件上传到所有 3 个虚拟机上的 /tmp/packages/ 并进行安装:
# From local workstation
scp ./packages/*.deb ${VM1_IP}:/tmp/packages/
scp ./packages/*.deb ${VM2_IP}:/tmp/packages/
scp ./packages/*.deb ${VM3_IP}:/tmp/packages/
# On each VM, run:
sudo apt update
sudo dpkg -i /tmp/packages/*.deb
确保 dpkg 不返回任何错误。如果存在,请查看日志,了解您可能缺少哪些 deb 软件包,并将其包含在下载内容中。
MariaDB 和 Galera 初始化
在所有虚拟机上配置 Galera
首先停止 mariadb 服务器:
sudo systemctl stop mariadb
为防止与 HAProxy(将拥有 3306)发生端口冲突,请将 MariaDB 默认端口更改为 3308。在所有虚拟机上修改 /etc/mysql/mariadb.conf.d/60-galera.cnf:
[mysqld]
bind-address = 0.0.0.0
port = 3308
binlog_format = ROW
default-storage-engine = innodb
innodb_autoinc_lock_mode = 2
# Galera Provider Configuration
wsrep_on = ON
wsrep_provider = /usr/lib/galera/libgalera_smm.so
wsrep_cluster_name = "mariadb-ha-cluster"
wsrep_cluster_address = "gcomm://${VM1_IP},${VM2_IP},${VM3_IP}" # explicitly set the IPs, do not leave bash syntax / environment variable
wsrep_sst_method = rsync
# Node-specific (Update per VM)
wsrep_node_address = "${VM1_IP}" # explicitly set the IPs, do not leave bash syntax / environment variable. Change for VM 2 and VM 3
wsrep_node_name = "db-node-1" # Change for VM 2 and VM 3
引导集群
仅在虚拟机 1 上,初始化新集群:
sudo galera_new_cluster
联接副本
虚拟机 1 成功运行后,依次在虚拟机 2 和虚拟机 3 上启动 MariaDB 服务:
sudo systemctl start mariadb
注意:请等待每个节点完全同步后再启动下一个节点。
验证高可用性数据库是否已启动并正常运行
在任何虚拟机上运行:
sudo mariadb
然后:
MariaDB [(none)]> SHOW STATUS LIKE 'wsrep_cluster_size';
+--------------------+-------+
| Variable_name | Value |
+--------------------+-------+
| wsrep_cluster_size | 3 |
+--------------------+-------+
1 row in set (0.001 sec)
预期值为 3。
Python 健康检查
我们将使用 Python 的内置 http.server 库,并将其封装在 systemd 服务中,以便它在端口 9200 上自动在后台运行。
创建数据库用户
在一个虚拟机中运行:
CREATE USER 'clustercheck_user'@'localhost' IDENTIFIED BY 'clustercheck_password';
FLUSH PRIVILEGES;
创建 Python 脚本
在所有 3 个虚拟机上,创建脚本 /usr/local/bin/clustercheck.py:
sudo nano /usr/local/bin/clustercheck.py
粘贴以下确切代码:
#!/usr/bin/env python3
import mysql.connector
from http.server import BaseHTTPRequestHandler, HTTPServer
class HealthHandler(BaseHTTPRequestHandler):
def do_GET(self):
try:
# Connect to backend MariaDB port 3308
db = mysql.connector.connect(user='clustercheck_user', password='clustercheck_password', host='127.0.0.1', port=3308)
cursor = db.cursor()
cursor.execute("SHOW GLOBAL STATUS LIKE 'wsrep_local_state_comment'")
state = cursor.fetchone()
# Galera 'Synced' state means the node is fully healthy
if state == 'Synced':
self.send_response(200)
self.end_headers()
self.wfile.write(b"Node is Healthy and Synced.\n")
else:
self.send_response(503)
self.end_headers()
self.wfile.write(b"Node is unavailable.\n")
except Exception as e:
self.send_response(503)
self.end_headers()
HTTPServer(('0.0.0.0', 9200), HealthHandler).serve_forever()
使其可执行:
sudo chmod +x /usr/local/bin/clustercheck.py
创建 systemd 服务
创建一个服务文件来管理 Python 脚本:
sudo nano /etc/systemd/system/clustercheck.service
粘贴以下配置:
[Unit]
Description=MariaDB Galera Health Check
After=network.target mariadb.service
[Service]
Type=simple
User=root
ExecStart=/usr/local/bin/clustercheck.py
Restart=always
[Install]
WantedBy=multi-user.target
启用并启动服务:
sudo systemctl daemon-reload
sudo systemctl enable --now clustercheck.service
您可以通过运行 curl -i http://127.0.0.1:9200 在本地进行测试。
HAProxy 配置
执行相同的过程来获取 haproxy 软件包并将其上传到虚拟机中。然后,在每个节点上配置 HAProxy 配置文件,以处理流量路由。
配置 HAProxy
在所有虚拟机上修改 /etc/haproxy/haproxy.cfg:
global
log /dev/log local0
user haproxy
group haproxy
daemon
defaults
log global
mode tcp
option tcplog
timeout connect 5000ms
timeout client 50000ms
timeout server 50000ms
# Write Port (Active/Backup)
listen galera_write
bind *:3306
mode tcp
option httpchk GET /
http-check expect status 200
server db-node-1 10.0.1.245:3308 check port 9200
server db-node-2 10.0.1.241:3308 check port 9200 backup
server db-node-3 10.0.1.242:3308 check port 9200 backup
# Read Port (Round-Robin)
listen galera_read
bind *:3307
mode tcp
balance roundrobin
option httpchk GET /
http-check expect status 200
server db-node-1 10.0.1.245:3308 check port 9200
server db-node-2 10.0.1.241:3308 check port 9200
server db-node-3 10.0.1.242:3308 check port 9200
重要提示:请将 IP 和名称更改为与您的 IP 和名称一致。
逐个重启节点,以安全地应用更改:
sudo systemctl restart haproxy
sudo systemctl enable haproxy
验证 HAProxy 路由行为
运行以下命令,确保 HAProxy 根据我们的活跃/备份拓扑处理读取和写入。
验证写入路由(主动/备份):HAProxy 配置为将所有端口
3306流量严格发送到节点 1,除非节点 1 已停机。从虚拟机 2 或虚拟机 3 的终端连续运行此命令 3 或 4 次:mysql -h 127.0.0.1 -P 3306 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"预期结果:每次运行该命令时,它都应该返回节点 1 的主机名(例如
db-node-1)。即使您在虚拟机 2 或 3 上查询本地 HAProxy,它也会正确地通过网络将写入连接转发到节点 1。验证读取路由(轮询):HAProxy 已配置为在所有完全同步的节点之间均匀分配端口
3307流量。连续运行此命令 3 或 4 次:mysql -h 127.0.0.1 -P 3307 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"预期结果:输出应在集群的主机名之间均匀循环(例如,
db-node-1、db-node-2、db-node-3)。
全球负载均衡器设置
使用 GDC 全球 L4 负载均衡器为您的应用提供单个稳定的虚拟 IP (VIP)。按照配置内部全球负载均衡器中的说明设置内部全球 L4 负载均衡器,并将虚拟机设置为其目标:将虚拟机设置为负载均衡器目标。
自动化故障切换测试
这是最关键的测试。您需要证明,如果某个节点崩溃,Python 脚本会捕获该事件,并且 HAProxy 会立即重新路由流量。
步骤 A:模拟节点 1 上的故障:通过 SSH 连接到节点 1 并完全停止数据库:
sudo systemctl stop mariadb步骤 B:再次测试写入端口:在虚拟机 2 或虚拟机 3 中,再次运行写入测试:
mysql -h 127.0.0.1 -P 3306 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"预期结果:它应立即返回节点 2 (
db-node-2)。HAProxy 通过 Python 脚本发现节点 1 已停机,并提升了第一个备份服务器。步骤 C:再次测试读取端口:多次运行读取测试:
mysql -h 127.0.0.1 -P 3307 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"预期结果:它应该只在节点 2 和节点 3 之间循环。节点 1 已完全从轮替中移除。
步骤 D:恢复和验证故障恢复:在节点 1 上启动 MariaDB 备份:
sudo systemctl start mariadb等待几秒钟,让其完成同步(状态 4),然后最后一次运行写入测试(端口 3306)。HAProxy 应自动检测到节点 1 再次恢复正常,并从节点 2 窃取写入流量。