Memorystore for Redis は、スループット、CPU 使用率、メモリ使用量をモニタリングするためのリアルタイムのサーバーサイド指標を提供しますが、このデータだけでは、複雑な分散システム内でクライアント アプリケーションのレイテンシが高くなる理由を説明できない場合があります。
クライアントサイドの指標は、リクエストとレスポンスのサイクル全体を透明化することで、この問題を解決します。アプリケーションがコマンドを開始してからレスポンスを処理するまでの時間を測定します。これらのデータポイントをキャプチャすることで、レイテンシがアプリケーション ロジック、ネットワーク パス、Redis サーバーのいずれに起因しているかを正確に判断できます。
始める前に
クライアント アプリケーションがサービス アカウントを使用し、次の Identity and Access Management(IAM)ロールが割り当てられていることを確認します。
roles/cloudtrace.agent(Cloud Trace エージェント)roles/monitoring.metricWriter(モニタリング指標の書き込み)
ロール付与の詳細については、 Google Cloud コンソールを使用して IAM ロールを付与するのクイックスタートをご覧ください。
Cloud Monitoring API を有効にする
クライアントサイドの指標を Monitoring にエクスポートするには、アプリケーションで Monitoring API を有効にする必要があります。Monitoring でこれらの指標をエクスポートして可視化すると、ボトルネックの根本原因を特定して、レイテンシの発生元を特定できます。
Monitoring API を有効にするには、次の操作を行います。
Google Cloud コンソールで、[API とサービス] ページに移動します。
Memorystore for Redis インスタンスを作成したプロジェクトを選択します。
[API とサービスを有効化] をクリックします。
monitoringを検索します。検索結果で、[Cloud Monitoring API] をクリックします。
[API が有効です] が表示されている場合、API はすでに有効になっています。それ以外の場合は、[有効にする] をクリックします。
Cloud Trace API を有効にする
Trace で分散トレースを表示するには、Trace API を有効にする必要があります。その後、Trace エクスプローラを使用してこれらのトレースを表示し、ボトルネックを診断して、アプリケーションのレイテンシの原因を特定できます。
Trace API を有効にするには、次の操作を行います。
Google Cloud コンソールで、[API とサービス] ページに移動します。
Memorystore for Redis インスタンスを作成したプロジェクトを選択します。
[API とサービスを有効化] をクリックします。
traceを検索します。検索結果で [Cloud Trace API] をクリックします。
[API が有効です] が表示されている場合、API はすでに有効になっています。それ以外の場合は、[有効にする] をクリックします。
Telemetry API を有効にする
OpenTelemetry プロトコル(OTLP)を使用してクライアントサイド指標をエクスポートするには、Telemetry API を有効にする必要があります。これにより、ベンダー固有の Google Cloud エクスポータではなく、標準の OTLP エクスポータをクライアント コードで使用できます。
標準の OTLP エクスポータは、データ損失を防ぎます。また、依存関係を簡素化し、他のオブザーバビリティ プラットフォーム間でデータのポータビリティを維持します。テレメトリー コードを 1 回記述すると、構成を更新することで、これらのプラットフォームのいずれかにデータをルーティングできます。プラットフォームごとに新しい独自のライブラリ セットを使用してコードを書き直す必要はありません。
Telemetry API を有効にするには、次の操作を行います。
Google Cloud コンソールで、[API とサービス] ページに移動します。
Memorystore for Redis インスタンスを作成したプロジェクトを選択します。
[API とサービスを有効化] をクリックします。
telemetryを検索します。検索結果で [Telemetry API] をクリックします。
[API が有効です] が表示されている場合、API はすでに有効になっています。それ以外の場合は、[有効にする] をクリックします。
クライアントサイドの指標を有効にする
クライアントサイド指標を有効にするには、OpenTelemetry SDK と、Telemetry API をターゲットとする OpenTelemetry OTLP エクスポータをアプリケーションのコードに追加します。アプリケーションの Redis クライアント ライブラリ内で直接実行される OpenTelemetry インストルメンテーションが指標をキャプチャします。これにより、アプリケーションはレイテンシ データポイントを記録し、可視化のために Monitoring と Trace にエクスポートできます。
クライアントサイドの指標を有効にするには、Go、Java、Node.js、または Python を使用します。各言語の指標を有効にするための情報は、次のタブに表示されます。
Go
必要な OpenTelemetry と OTLP エクスポータの依存関係をインストールするには、ターミナルで次のコマンドを実行します。
go get github.com/gomodule/redigo/redis@latest go get go.opentelemetry.io/otel go get go.opentelemetry.io/otel/sdk go get go.opentelemetry.io/otel/sdk/metric go get go.opentelemetry.io/contrib/detectors/gcp go get go.opentelemetry.io/otel/exporters/otlp/otlptrace/otlptracegrpc go get go.opentelemetry.io/otel/exporters/otlp/otlpmetric/otlpmetricgrpc go get golang.org/x/oauth2/google go get google.golang.org/grpc
クライアントサイドの指標を有効にするには、
main.goファイルを作成し、次のコードを追加します。アプリケーションを 1 分以上実行して、エクスポータが公開された指標をバッチ処理して Monitoring に送信するのに十分な時間を確保します。
Java
必要な OpenTelemetry と OTLP エクスポータの依存関係をインストールするには、アプリケーションの
pom.xmlファイルに次のコードを追加します。クライアントサイドの指標を有効にするには、
RedisTelemetryApp.javaファイルを作成し、次のコードを追加します。アプリケーションを 1 分以上実行して、エクスポータが公開された指標をバッチ処理して Monitoring に送信するのに十分な時間を確保します。
Node.js
必要な OpenTelemetry と OTLP エクスポータの依存関係をインストールするには、ターミナルで次のコマンドを実行します。
npm install redis@^4.6.0 \ @grpc/grpc-js@^1.12.0 \ google-auth-library@^9.15.0 \ @opentelemetry/api@^1.9.0 \ @opentelemetry/sdk-trace-node@^2.1.0 \ @opentelemetry/sdk-trace-base@^2.1.0 \ @opentelemetry/sdk-metrics@^2.1.0 \ @opentelemetry/instrumentation@^0.205.0 \ @opentelemetry/instrumentation-redis@^0.67.0 \ @opentelemetry/exporter-trace-otlp-grpc@^0.205.0 \ @opentelemetry/exporter-metrics-otlp-grpc@^0.205.0 \ @opentelemetry/resources@^2.10.0 \ @opentelemetry/resource-detector-gcp@^0.40.0
クライアントサイドの指標を有効にするには、
server.jsファイルを作成し、次のコードを追加します。アプリケーションを 1 分以上実行して、エクスポータが公開された指標をバッチ処理して Monitoring に送信するのに十分な時間を確保します。
Python
必要な OpenTelemetry と OTLP エクスポータの依存関係をインストールするには、ターミナルで次のコマンドを実行します。
pip install redis>=5.0.0 \ opentelemetry-api==1.39.1 \ opentelemetry-sdk==1.39.1 \ opentelemetry-instrumentation-redis==0.60b1 \ opentelemetry-exporter-otlp-proto-grpc \ opentelemetry-resourcedetector-gcp \ google-auth \ requests \ grpcio
クライアントサイドの指標を有効にするには、
main.pyファイルを作成し、次のコードをアプリケーションに追加します。アプリケーションを 1 分以上実行して、エクスポータが公開された指標をバッチ処理して Monitoring に送信するのに十分な時間を確保します。
Monitoring で指標を表示する
クライアントサイドの指標を有効にし、アプリケーションを 1 分以上実行して、エクスポータが指標をバッチ処理して Monitoring に送信するのに十分な時間を確保したら、Monitoring を使用して指標を可視化し、オペレーションまたはインスタンスごとにグループ化して、アグリゲータを適用してアプリケーションのパフォーマンスをモニタリングします。
Monitoring で指標を表示する手順は次のとおりです。
Google Cloud コンソールで、Metrics Explorer のページに移動します。
Google Cloud プロジェクトを選択します。
[指標を選択] をクリックします。
workload.googleapis.com/redisを検索します。クライアントサイドの指標を選択します。必要に応じて
operationとinstanceでデータをグループ化し、アグリゲータを選択します。その他のオプションについては、Metrics Explorer 使用時の指標の選択をご覧ください。
Trace で分散トレースを表示する
アプリケーションがデータのエクスポートを開始すると、Trace を使用して Redis コマンドの完全なリクエスト / レスポンス サイクルを可視化できます。Trace で分散トレースを表示すると、ボトルネックを診断して、アプリケーションのレイテンシの正確な原因をすばやく特定できます。
Trace で分散トレースを表示するには、次の操作を行います。
Google Cloud コンソールで、[Trace エクスプローラ] ページに移動します。
散布図上のドットで表される最近のトレースを選択します。
ウォーターフォール ビューを調べて、次のボトルネックを特定し、レイテンシの原因を特定します。
リクエストの合計時間: 最上位(親)のバーは、オペレーションが完了するまで待機する必要がある合計時間を示します。
ネットワークとサーバーのレイテンシ(RTT): 子バー(
GETやSETなどのラベルが付いたバー)は、コマンドがネットワークを移動して Memorystore for Redis サーバーで実行されるまでに費やした時間を示します。クライアント接続のブロック: Redis 子スパンが開始する前に大きな空の水平ギャップがある場合、アプリケーション スレッドは接続プールから使用可能な TCP 接続を待機しています。
アプリケーションの解析のブロック: Redis 子スパンの終了後に大きな空の水平ギャップがある場合、アプリケーションは返されたペイロードの解析または処理に苦労しています。これは、数メガバイトの JSON 文字列でよく発生します。
再試行: 同じ親トレース内で同じコマンドに対して複数の短い子スパンが連続して発生している場合、クライアントでネットワーク パケットロスが発生し、指数バックオフ再試行ループをトリガーする必要があります。
トラブルシューティング
このセクションでは、クライアントサイドの指標を使用して特定できる一般的なパフォーマンスの問題、その根本原因、問題のトラブルシューティングに関するガイダンスについて説明します。
| 問題 | 原因 | トラブルシューティング |
|---|---|---|
アプリケーションでレイテンシが突発的に高くなるが、Memorystore for Redis は完全に正常な状態である。
|
ボトルネックはアプリケーション内にあります。スレッドが Redis コマンドを実行しようとしますが、接続プールが完全に枯渇しています。redis_client_blocking_latency が高い場合は、コマンドがネットワークに送信される前に、コードが使用可能な TCP ソケットを待機している時間を表します。 |
同時実行トラフィックの増加に対応するには、Redis クライアント構成で接続プールサイズの上限を増やします(例: Go の場合は MaxActive、Java の場合は MaxTotal、Node.js と Python の場合は max_connections)。 |
リクエストは完了しますが、エンドポイントに想定よりも大幅に時間がかかります。ネットワークまたはサーバーの健全性に関連する問題はありません。
|
Memorystore for Redis がコマンドを実行し、ネットワークがペイロードを迅速に転送します(低 RTT)。ただし、返されるペイロードは大きくなります(たとえば、15 MB の JSON 文字列)。アプリケーションは、メモリを割り当てて、その大きな文字列をオブジェクトにデシリアライズする際に過剰なリソースを消費するため、redis_application_blocking_latency が高くなります。 |
データモデルを最適化する。1 つのキーに大量の JSON blob を保存しないでください。Redis ハッシュ(HSET)を使用してデータを分割し、HGET または HMGET を使用して必要な特定のフィールドのみを取得します。 |
ユーザー向けアプリケーションのレイテンシが急増しているが、Redis の指標ではサーバーのレイテンシが低く、接続プールのチェックアウトが通常どおりである。
|
redis_client_rtt は成功したリクエストの RTT のみをキャプチャするため、失敗したパケットのタイムアウト時間は反映されません。アプリケーションで一時的なパケットドロップまたは TCP リセットが発生すると、計測されたクライアントの再試行ロジックによって redis_retry_count がインクリメントされ、指数バックオフ ループがトリガーされます。これにより、試行間にスリープ時間が導入されます(例: 100ms、200ms、400ms)。ユーザーは高い合計レイテンシを経験しますが、根本原因はネットワーク パケットロスであり、これによりクライアントサイドのスリープ遅延が発生します。 |
VPC Flow Logs で、パケットのドロップ、帯域幅のスロットリング、クロスリージョン ルーティングの異常を確認します。タイムアウトが頻繁に発生する場合は、クライアント接続タイムアウト(socket_timeout または connect_timeout)が想定される RTT よりも大きくなるようにして、一時的なネットワーク ジッターを考慮してください。 |
すべてが停止し、テレメトリー パイプラインのすべてのレイヤで高レイテンシが報告されます。
|
Redis はシングルスレッドです。O(N) 時間複雑度コマンド(KEYS *、大規模なセットでの SMEMBERS、数百万のフィールドを持つハッシュでの HGETALL など)を実行すると、Redis エンジンは一時停止してそのリクエストを処理します。このコマンドの実行中、他のすべてのアプリケーション リクエストがキューに格納され、システム全体のレイテンシが急増します。カスタム redis_client_rtt がサーバーのレイテンシ(commands/usec_per_call)と一致するため、コマンドを実行するサーバーがボトルネックになります。 |
Trace を開き、低速なスパンの Redis コマンドを確認して、ブロックの原因となっているクエリを特定します。コード内のブロッキング コマンドを非ブロッキング コマンドに置き換えます。 サーバー スレッドをロックせずに大規模なデータセットを段階的に反復処理するには、 |
トラフィックが少ない場合でも、アプリケーションがすべての Redis コマンドに対して一貫した高いベースライン レイテンシを報告する。
|
Redis サーバーはコマンドを即座に実行しますが、アプリケーションとインスタンスは異なるリージョン(us-central1 と us-east1 など)にデプロイされています。すべてのネットワーク パケットは、これらの地理的なデータセンター間の物理的な Google Cloud インフラストラクチャを通過する必要があります。これにより、すべての往復で、光速のクロスリージョン レイテンシ ペナルティが必須になります。 |
レイテンシを短縮するには、インスタンスと同じリージョンとゾーンにアプリケーションをデプロイします。アプリケーションとインスタンスのリージョンを表示するには、 Google Cloud コンソールを使用します。 |
次のステップ
- クライアントサイド指標について確認する。
- Memorystore for Redis で利用可能なクライアントサイドの指標について学習する。