本页面介绍了各种问题、这些问题的错误消息以及解决这些问题的排查步骤。
连接问题
如果您的 Memorystore for Redis 实例遇到连接问题,请检查本部分中的问题,看看是否是其中一个问题导致了该问题。
如果本部分中的问题与您的问题不匹配,请通过 Telnet 连接到您的一个 Redis 节点并运行一些 Redis 命令,以查看实例是否响应。
如果节点无响应,请查看是否有任何网络问题导致节点的网络连接被屏蔽。如果这些问题都无法解决,请与 Cloud Customer Care 联系。
您在不同的 VPC 网络中预配资源。
如需从 Google Cloud 资源(例如 Compute Engine 虚拟机)连接到 Memorystore for Redis 实例,您必须在与该实例相同的授权 VPC 网络上预配资源。
尝试从位于不同区域或 VPC 网络的资源通过 Telnet 连接到实例会导致以下出错提示:
telnet: Unable to connect to remote host: Connection timed out
您删除了 VPC 网络对等互连。
创建 Memorystore for Redis 实例时,您会在 VPC 网络与内部 Google VPC 网络之间创建 VPC 对等互连。
网络对等互连采用以下格式:
redis-peer-############
如果删除此网络对等互连,则尝试通过 Telnet 连接到实例会导致以下出错提示:
telnet: Unable to connect to remote host: Connection timed out
如需重新建立已删除的网络对等互连,请创建另一个实例。然后,删除此实例。您的原始实例现在具有所需的网络对等互连。
您创建了防火墙规则来屏蔽实例的 IP 地址。
如果您创建的出站流量防火墙规则会屏蔽 Memorystore for Redis 实例的端口 (6379) 或 IP 地址,则可能会遇到连接问题。请勿创建会屏蔽实例 IP 地址范围的网络防火墙规则。
您有无响应的连接
我们强烈建议您将客户端应用配置为检测与 Memorystore for Redis 的无响应连接。检测到无响应的连接时,客户端必须重置该连接。为了构建弹性应用,我们建议采用以下客户端配置:
- 配置 TCP keep-alive 参数:设置
TCP keepalive time、TCP keepalive interval和TCP keepalive probes参数,以便客户端主动检测并丢弃无响应的连接,即使连接处于空闲状态也是如此。例如,如果您将TCP keepalive time参数设置为 30 秒,将TCP keepalive interval设置为 10 秒,将TCP keepalive probes设置为 3,则客户端会在一分钟内重置无响应的空闲连接。 - 配置 TCP 用户超时:在客户端中设置此超时,以重置具有未完成请求且停止响应的连接。例如,如果您将超时设置为 15 秒,则客户端会在 15 秒后重置具有未完成请求的无响应连接。
Memorystore for Redis 拒绝新的连接尝试
启用传输加密后,每个 Memorystore for Redis 容量层级都会强制执行连接数上限。如果您的实例达到此上限,Memorystore for Redis 会拒绝新的连接尝试。
如需解决此问题,请执行以下某项操作:
- 将实例扩容到支持所需连接数的容量层级
- 通过建立和重复使用长时间运行的连接来减少连接总数
您可以使用 redis.googleapis.com/clients/connected 指标监控活跃连接数。如果 Memorystore for Redis 拒绝新的连接尝试,但您的连接数低于上限,请检查客户端日志(例如 stunnel 日志)中是否存在错误。
Memorystore for Redis 会断开现有连接
对于运行 Redis 6.x 或更早版本且启用了传输加密的实例,Memorystore for Redis 每 180 天轮替一次其服务器端证书。此轮替可能会导致实例断开连接几秒钟。
如需解决此问题,请将客户端应用配置为通过使用指数退避算法重试连接来自动重新连接。如果您将实例升级到 Redis 7.0 或更高版本,则 Memorystore for Redis 在轮替证书时不会断开连接。
CPU 使用率问题
本部分介绍了 Memorystore for Redis 实例可能会遇到的 CPU 使用率问题。
您的实例延迟时间较长或没有响应。
如果您的 Memorystore for Redis 实例遇到高延迟或无响应,则这些问题可能是由于使用了以下资源密集型 Redis 命令引起的:
这些命令可能会给实例带来沉重的 CPU 压力。我们建议您不要在生产环境中运行 KEYS 命令。请改用 SCAN,因为此命令使用的资源比 KEYS 少。
使用 LRANGE 查询全部或大部分键空间可能会消耗大量 CPU 资源。为解决此问题,我们建议您减少在单次操作中查询的密钥集中的密钥数量。
将复杂的 Lua 脚本与 EVAL 搭配使用也可能会导致 CPU 使用率过高。我们建议您使用不太复杂的 Lua 脚本。
HGETALL 和 ZRANGE 可能会返回大量键,从而对服务器的性能产生不利影响。我们建议您运行 HSCAN 命令,而不是 HGETALL。此外,在使用 ZRANGE 之前,我们建议您限制用于查询的范围的大小。
在运行资源密集型命令之前,请检查该命令查询的数据结构的大小,以确保其不会导致延迟。
如果您的实例延迟时间较长或无响应,请执行以下操作:
- 检查客户端日志,看看是否运行了任何资源密集型命令。 如果有,请记下日期和时间。
- 使用 Cloud Monitoring 查看
redis.googleapis.com/stats/cpu_utilization指标。查看 CPU 利用率较高的时段是否与资源密集型命令运行的时段一致。
实例的输出缓冲区空间不足。
如果 Memorystore for Redis 实例的输出缓冲区空间不足,请执行以下操作:
- 为
maxmemory-gb参数设置较小的值。 - 使用
allkeys-lrumaxmemory政策。
当实例的内存已满且有新的写入操作时,Memorystore for Redis 会根据实例的 maxmemory 政策逐出键,以便为写入操作腾出空间。allkeys-lru 政策会从整个键集中逐出最近最少使用 (LRU) 的键。
我们建议您监控实例的 maxmemory 和已用内存。这有助于您了解实例是否达到预配的实例容量。此外,通过减小 maxmemory-gb 参数的值,您可以获得更多空间来处理开销。
您的实例缺少外部指标
如果实例的 CPU 利用率较高或实例的资源耗尽(例如,连接过多),则实例可能会出现异常行为,并且外部指标可能会缺失。
找出实例延迟的来源
如需确定您遇到的延迟时间是源自实例、客户端应用还是网络环境,请使用 redis-cli 工具运行持续延迟时间测试。
如需找出实例延迟时间的来源,请执行以下操作:
连接到与您的实例位于同一区域和 VPC 网络中的 Compute Engine 虚拟机。
如果尚未安装,请在虚拟机上安装
redis-cli工具。对于基于 Debian 或 Ubuntu 的虚拟机,请运行以下命令:
sudo apt-get install redis-tools对于基于 RHEL 或 CentOS 的虚拟机,请运行以下命令:
sudo yum install redis
如需以毫秒为单位测量实例的延迟时间,请运行以下命令:
redis-cli --latency -h IP_ADDRESS -p PORT
如果您的实例启用了 Redis AUTH 或传输加密,请确保附加所需的身份验证 (
-a) 或 TLS (--tls) 标志。进行以下替换:
- IP_ADDRESS:实例的 IP 地址。
- PORT:为实例预留的端口号。 通常,此端口号为 6379。
让该命令运行几分钟。该工具会持续 ping 服务器,并计算最小、最大和平均延迟时间值。
如需停止该命令并查看结果,请按
Ctrl+C。
如果该命令输出的平均延迟时间始终较低(通常为 1 毫秒或更短),则表示实例运行状况良好且响应迅速。
如果该命令显示延迟时间始终较低,但您的客户端应用仍然遇到延迟,则以下问题可能会导致延迟:
- 网络:在客户端和实例之间跨不同区域或可用区路由的流量可能会导致严重的网络延迟。
- 客户端:客户端上的 CPU 或内存利用率较高、连接池耗尽或应用逻辑瓶颈可能会增加客户端经历的总往返时间。
网络问题
本部分介绍了实例可能会遇到的网络问题。
分配的 IP 地址范围已用尽,或者存在冲突的路由。
在专用于 Memorystore for Redis 的 IP 地址范围中创建资源时,您可能会耗尽所有 IP 地址。或者,可能存在与您正在尝试创建的 Memorystore for Redis 实例的 IP 地址冲突的路由。
这些问题会导致系统显示以下出错提示:
The IP ranges for the connection do not have enough available IPs. Allocate a
new range or expand existing range and try again.
如需解决此问题,请分配其他 IP 地址或消除路由冲突差异。如需了解详情,请参阅 IP 地址范围用尽。
您没有为网络建立专用服务访问通道连接。
如果您的 Memorystore for Redis 实例使用专用服务访问通道连接模式,但您的网络不存在专用服务访问通道连接,则您可能会收到以下出错提示:
Google private service access is not enabled. Enable private service access and
try again
为解决此问题,请建立专用服务访问通道连接。
您删除了专用服务访问通道连接的网络对等互连。
建立专用服务访问通道连接时,Memorystore for Redis 会创建一个名为 servicenetworking-googleapis-com 的网络对等互连连接。此连接会显示在项目的 VPC 网络对等互连页面中。
如果您删除网络对等互连,则现有实例会显示以下出错提示:
telnet: Unable to connect to remote host: Connection timed out
此外,如果您删除网络对等互连并创建实例,则会显示以下出错提示:
Private services access is not configured correctly. For steps on how to
verify the connection, check the documentation.
如需解决此问题,请运行以下命令,在您的网络与专用服务访问通道网络之间创建专用服务访问通道连接:
gcloud services vpc-peerings connect --service=servicenetworking.googleapis.com --ranges=RESERVED_RANGE_NAME --network=VPC_NETWORK --project=PROJECT_ID
您使用了冲突的参数。
如果您同时使用 --reserved-ip-range 参数和 --connect-mode=private-service-access 参数,则会收到以下出错提示:
Reserved IP range is not supported for --connect-mode private services access
您不能同时使用这两个参数,因为 Memorystore for Redis 不支持专用服务访问通道连接模式的 --reserved-ip-range 参数。
如需解决此问题,请执行以下某项操作:
- 将
--reserved-ip-range参数与--connect-mode=direct-peering参数搭配使用。 - 请勿使用
--reserved-ip-range参数。
您超出了项目的子网配额。
您可以在Google Cloud 项目中创建的子网数量有限。如果超出此配额,则会收到以下出错提示之一:
Internal network quota exceeded. Please request higher limit here: https://forms.gle/ZfVduUGq2iSYcYGm8
或
Unable to create instance. Network quota limit has been reached. Please request higher limit here: https://forms.gle/ZfVduUGq2iSYcYGm8
如需解决此问题,请填写错误消息中显示的表单,或与 Cloud Customer Care 联系。
您未将服务项目关联到宿主项目。
如果您使用共享 VPC,但未将服务项目关联到宿主项目,则会收到以下出错提示:
Invalid network name <network-name>. Project <project-name> referenced is not the host project for <service-project-name>.
如需解决此问题,请将服务项目关联到宿主项目。
您在服务项目中创建一个实例,并指定直接对等互连连接模式和共享 VPC 网络。
如果您在服务项目中创建 Memorystore for Redis 实例,并为该实例指定宿主项目中的共享 VPC 网络,则无法使用直接对等互连连接模式。
默认情况下,连接模式设置为直接对等互连。如果您在创建实例时尝试使用此连接模式,并且还选择宿主项目中的共享 VPC 网络作为 --network 参数的值,则会收到以下出错提示:
Authorized_network must exist in the same project as redis instance
如需解决此问题,请执行以下某项操作:
- 创建实例时,请使用专用服务访问通道连接模式
(--connect-mode=private-service-access)。 - 选择与实例位于同一项目中的已获授权的 VPC 网络。
您为 Compute Engine 使用了 Memorystore for Redis 无法访问的 IP 地址范围。
您无法从 IP 地址在 172.17.0.0/16 范围内的 Compute Engine 虚拟机访问 Memorystore for Redis 实例。此范围已预留给内部组件。
如需解决此问题,请从 IP 地址位于其他范围内的 Compute Engine 虚拟机访问您的实例。
从其他 Google Cloud 资源连接到实例时出现问题
本部分介绍了当其他资源尝试连接到 Memorystore for Redis 实例时,该实例可能会遇到的问题。
您无法从需要无服务器 VPC 访问通道连接器的无服务器环境连接到实例
如果您无法使用需要无服务器 VPC 访问通道连接器的无服务器环境之一连接到 Memorystore for Redis 实例,请验证您是否为环境设置了此连接器。如需了解详情,请参阅无服务器 VPC 访问通道连接器要求。
您无法从 Google Kubernetes Engine (GKE) 集群连接到实例
如需从 GKE 集群连接到 Memorystore for Redis 实例,您必须在集群上启用 VPC 原生/IP 别名。
在创建集群时启用 VPC 原生/IP 别名是最简单的方法。在“高级选项”部分中,选择 VPC 原生。如需了解详情,请参阅创建 VPC 原生集群。
Identity and Access Management (IAM) 问题
本部分介绍了 Memorystore for Redis 实例可能遇到的 IAM 问题。
您想恢复服务账号已删除的政策绑定
Memorystore for Redis 使用以下服务账号来管理您的实例:
service-PROJECT_NUMBER@service-networking.service-PROJECT_NUMBER@cloud-redis.
如果您删除这些服务账号的政策绑定,则无法创建实例。
如果您尝试使用 Google Cloud CLI 创建 Memorystore for Redis 实例,则可能会收到以下出错提示:
(gcloud.redis.instances.create) FAILED_PRECONDITION: A required IAM policy might be missing. Please run this command:"gcloud projects add-iam-policy-binding YOUR_PROJECT_ID --member='serviceAccount:service-YOUR_PROJECT_NUMBER@cloud-redis.' --role='roles/redis.serviceAgent'" and try again.
如需为 service-networking 服务账号重新建立政策绑定,请运行以下命令。将 VARIABLES 替换为适当的值。
gcloud projects add-iam-policy-binding PROJECT_ID --member='serviceAccount:service-PROJECT_NUMBER@service-networking.' --role='roles/servicenetworking.serviceAgent'
如需为 cloud-redis 服务账号重新建立政策绑定,请运行以下命令。将 VARIABLES 替换为适当的值。
gcloud projects add-iam-policy-binding PROJECT_ID --member='serviceAccount:service-PROJECT_NUMBER@cloud-redis.' --role='roles/redis.serviceAgent'
操作超时问题
以下问题会导致 Redis 实例无响应和/或实例/节点操作超时。
网络分区问题
有时,由于 Google Cloud 服务器中出现网络分区错误, Google Cloud 资源无法跨区域内的可用区进行通信。这可能会导致实例失去连接,从而造成超时错误。
在 Google Cloud 解决实例预配所在区域或可用区的网络分区错误后,连接应恢复正常。
在此问题中,您可能会看到如下连接性出错提示:
telnet: Unable to connect to remote host: Connection timed out
如果您无法确定超时错误的原因,请与 Google Cloud 支持团队联系。
服务项目和宿主项目不在同一个 VPC 服务控制边界内
如果您使用的是共享 VPC 和 VPC 服务控制边界,并且 Redis 实例创建操作超时,这可能表示您的服务项目和宿主项目不在同一服务边界中。您的服务项目和宿主项目必须位于同一边界内,以便 Redis 实例通过共享 VPC 网络与进行连接的客户端通信。
要查看您是否遇到了此问题,请检查 Redis 实例的审核日志中是否存在以下错误:
violationReason: "NETWORK_NOT_IN_SAME_SERVICE_PERIMETER"
为解决此问题,请将您的主机网络和服务网络置于同一服务边界内。
排查导入和导出的问题
本节概述了在使用 Memorystore for Redis 的导入和导出时可能会遇到的一些常见问题。
Google Cloud 控制台中的导入和导出按钮已停用
问题:已登录控制台的用户没有导入和/或导出 RDB 文件所需的 redis.instances.import 和/或 redis.instances.export 权限。
解决方案:向用户授予权限,然后刷新实例详情页面。
导入操作已完成,但数据未恢复
如果导入操作已完成,但数据未恢复,请先在 Google Cloud 控制台或命令行中查看出错提示,然后解决出错提示中描述的所有问题。
如果在导入过程中发生失败,则使用空 RDB 文件恢复实例。您可以尝试通过再次导入同一 RDB 文件或使用其他 RDB 文件来恢复数据。
由于 RDB 文件过大,导入失败
如果您收到错误消息“导入 RDB 文件 gs://bucket/object.rdb 大小超出了 10GB 的最大内存”,您应该扩充实例并重试导入操作。您还可以尝试将更小的 RDB 文件导入至实例。
排查 Google Cloud CLI 问题
如果您遇到 gcloud CLI 命令不可用的问题,或者该命令的行为与其记录方式不同,请尝试更新 gcloud CLI:
gcloud components update
停止 Redis 实例的所有正在进行的命令和连接
由于 Memorystore for Redis 是 Google 代管的产品,因此有一些命令在 Redis 实例中被屏蔽,以便提供安全可靠的环境。受限命令之一是 CLIENT(其中包含用于停止命令的 CLIENT KILL)。
如果 Redis 命令占用了大量 CPU/RAM 利用率并且影响生产环境,则需要重启实例(适用于基本层级配置)或故障切换到副本(用于标准层级配置)。此重启/故障切换操作会停止在 Redis 服务器上运行的所有命令,并结束所有正在进行的连接。
以下是用于为每个 Memorystore for Redis 配置执行重启或故障切换的命令。
在标准级 Memorystore for Redis 实例中停止命令
gcloud redis instances failover INSTANCE_NAME --data-protection-mode=limited-data-loss
停止基本层级 Memorystore for Redis 实例中的命令
在 Memorystore for Redis 实例中执行重启的唯一方法是更改其配置,例如纵向扩容实例。您可以在下面找到用于重启实例的命令示例。
gcloud redis instances update INSTANCE_NAME --region REGION_ID --size NUMBER_GB
将实例扩缩为不同大小后,您可以运行其他扩缩操作来将其恢复到原始大小。
网域限制共享的组织政策问题
存在一个已知问题,即 iam.allowedPolicyMemberDomains 组织政策与使用 PROJECT_NUMBER-compute@ 服务账号格式的 Memorystore for Redis 实例一起使用时会导致错误。
Memorystore for Redis 使用两种不同的服务账号格式之一,具体取决于实例的创建时间。如需确定实例的服务账号格式,请参阅 Memorystore for Redis 服务账号格式。
发生此问题时,您可能会看到以下出错提示:One or
more users named in the policy do not belong to a permitted customer.
根据贵组织的政策以及您是否可以重新创建实例,您可以使用以下选项之一解决此错误:
重新创建实例:旧实例使用
PROJECT_NUMBER-compute@服务账号格式,网域限制共享政策通常会屏蔽该格式。新创建的实例使用与大多数组织政策兼容的新式服务账号格式。如果您的组织政策屏蔽了所有外部网域,则此选项不起作用。如需绕过该政策,您必须使用第二个选项。
强制账号访问:如果您无法重新创建实例来获取新的服务账号格式,或者贵组织的政策屏蔽了新的服务账号网域,则您必须通过强制为项目提供账号访问权限来绕过该政策。如需了解详情,请参阅强制账号访问。