お客様がホストする Looker インスタンスからのデータのエクスポート

セルフホスト型 Looker インスタンスの管理者は、主にインフラストラクチャ管理のオーバーヘッドを削減し、利便性の向上、機能の可用性の強化、信頼性の管理を実現するために、Looker ホスト型環境への移行を検討することがあります。Looker ホスト型のインスタンスを利用することで、Looker アプリケーションに関連するすべての必要な IT 機能が実行されるため、インストール、構成、メンテナンスに必要な労力を大幅に削減できます。

セルフホスト型インスタンスを Looker ホスト型環境に移行する主な手順は次のとおりです。

  1. 受付と設定: Looker チームにチケットを送信し、Looker オンプレミス移行アンケートに回答します。Looker チームは、アンケートへの回答に基づいて、新しいホスト型インスタンスを作成します。
  2. 暗号化: Looker SRE が GnuPG(GPG)鍵ペアを生成し、公開鍵をユーザーと共有します。
  3. エクスポート: Looker インスタンスを停止し、そのデータ(データベース、ファイル システム、顧客管理鍵(CMK))をエクスポートします。
  4. データの転送とインポート: Looker チームがバックアップを Looker ホスト型インスタンスにインポートして検証します。

このページでは、ステップ 3: エクスポートに必要なタスクを実行する方法について説明します。

始める前に

このページのスクリプトを使用してインスタンスのデータをバックアップする前に、Looker インスタンス、データベース、暗号化構成が移行要件を満たしていることを確認する必要があります。

必要な構成

このページで説明するスクリプトを実行するには、次の Looker とデータベースのバージョンが必要です。

  • Looker インスタンスがサポートされている Looker リリース バージョンを実行している必要があります。
  • エクスポートされたデータベース スキーマ ファイルを Looker で使用できるように、インスタンスは MySQL バージョン 8.0.0 以降と互換性のあるデータベースを使用する必要があります。

AWS KMS を使用している場合は、Looker の暗号鍵の変更のドキュメント ページに記載されている手順に沿って、Looker の AES-256 GCM 暗号化に移行します。

データを適切に保存し、文字を正しく表示するには、データベースの照合順序を utf8mb4(推奨)または utf8 に設定する必要があります。他の照合を使用すると、特殊文字を保存するときにデータの破損やエラーが発生する可能性があります。

移行するインスタンスを評価する

セルフホスト型の Looker インスタンスを Looker ホスト型の Looker(オリジナル)インスタンスに移行できるかどうかを判断するには、インスタンスのデータベースとファイル システムのサイズとパフォーマンスを評価する必要があります。この評価では、バックアップ生成プロセス中に発生するデータ抽出を移行元の環境で処理できるかどうかも評価されます。この情報は、Looker チームがターゲットの Looker ホスト型インスタンスに十分なリソースを割り当てるのに役立ちます。

評価を行うには、Looker インスタンスのコンピューティング使用量とファイル システムのパフォーマンスを評価するための Looker のスクリプトを含む GitHub リポジトリのクローンを作成する必要があります。このスクリプトは Go Looker SDK に依存しており、GitHub の Looker O2C Migration Evaluation リポジトリで入手できます。

以降のセクションでは、インスタンスを評価するスクリプトを実行するために必要な手順について説明します。これには、次のタスクが含まれます。

  1. スクリプトを含むリポジトリのクローンを作成します。
  2. API 認証情報を生成する。
  3. コマンドを実行して、コンピューティングの使用状況を確認します。
  4. コマンドを実行してファイル システムのパフォーマンスを確認する。

評価ツールをインストールする

Looker インスタンス データのバックアップを行うマシンに、次のツール、言語、SDK をインストールします。

  1. Git
  2. Go プログラミング言語
  3. Go Looker SDK

Looker O2C 移行評価リポジトリのクローンを作成する

評価スクリプトを含むリポジトリのクローンを作成するには、分析とバックアップを実行するユーザーのホーム ディレクトリから次のコマンドを実行します。

git clone https://github.com/looker-open-source/looker-o2c-migration-tool.git

API 認証情報を生成する

評価スクリプトは、Looker SDK を使用してデータを取得し、ネットワーク経由で Looker サーバーにリクエストを送信する API クライアントとして機能します。スクリプトを実行する管理者ユーザーには、Looker API クライアント ID とクライアント シークレットが必要です。Looker 管理者アカウントの API 認証情報を生成する手順は次のとおりです。

  1. [管理] パネルの [ユーザー] ページに移動します。
  2. アカウントの [編集] を選択します。
  3. アカウントの詳細ページで、[API3 Keys] セクションを見つけて [Edit Keys] を選択します。
  4. [New API Key] を選択します。
  5. Looker に Client ID と クライアント シークレット が表示されます。これらの値をコピーして安全な場所に保存します。

コンピューティング利用情報を生成する

移行評価スクリプトを使用してインスタンスのコンピューティング使用量に関する情報を返すには、Looker アプリケーションの API エンドポイントに直接ネットワーク接続されているマシンで次のコマンドを実行します。

cd looker-o2c-migration-tool
go run main.go --client-id API_CLIENT_ID --client-secret API_CLIENT_SECRET --looker-instance-address LOOKER_INSTANCE_ADDRESS --output-csv-path OUTPUT_CSV_PATH --ssl=SSL

次のように置き換えます。

  • API_CLIENT_ID: 前のステップで取得したクライアント ID。
  • API_CLIENT_SECRET: 前のステップで取得したクライアント シークレット。
  • LOOKER_INSTANCE_ADDRESS: プロトコルを含む Looker インスタンスのアドレス。
  • OUTPUT_CSV_PATH: CSV 出力のパス(/content/compute_usage_info.csv など)。
  • SSL: マシンと Looker インスタンス間の接続で SSL 証明書を使用するかどうか。デフォルト値は true です。

このコマンドは、Looker インスタンスの使用状況の詳細を含む CSV ファイルを出力します。

ファイル システムのパフォーマンス情報を生成する

このスクリプトは、個々のモデル関連ディレクトリのサイズとファイル数、およびディスク書き込み速度テストを表示します。Looker アプリケーションのインストールのドキュメント ページに記載されているように、Looker はユーザー名 looker のユーザーのホーム ディレクトリにインストールされていることを前提としています。

移行評価スクリプトを使用してインスタンスのファイル システムのパフォーマンスに関する情報を返すには、Looker インスタンスがホストされているマシンで次のコマンドを実行します。

cd looker-o2c-migration-tool
go run main.go --file-system-evaluation --output-csv-path OUTPUT_CSV_PATH

次のように置き換えます。

  • OUTPUT_CSV_PATH: CSV 出力のパス(/content/fs_perf_info.csv など)

このコマンドは、Looker インスタンスのファイル システムのパフォーマンスを含む CSV ファイルを出力します。

バックアップ用にインスタンスを準備する

このページで説明するスクリプトの実行に必要なパッケージと依存関係をインストールして、インスタンス データのバックアップを準備します。また、いくつかの環境変数を設定して、コマンドの作成を簡素化することもできます。

依存関係をインストールして検証する

Looker インスタンス データのバックアップに必要な依存関係をインストールする場合は、Linux ディストリビューションの標準のパッケージ マネージャーを使用します。次のバージョンは、Debian 12(Bookworm)で提供されるパッケージに対応しており、必要な各パッケージの最小バージョンを表しています。

Looker インスタンス データをバックアップするマシンに、次のパッケージをインストールします。

  1. bash 5.2.15

  2. gpg 2.2.40(GnuPG)– バックアップ生成プロセスでは、gpg を使用してデータベースとファイル システムのバックアップを暗号化してから、Looker チームと共有します。

  3. libgcrypt 1.10.2

  4. Gpg-agent 2.2.40(GnuPG)

  5. GNU tar 1.34

  6. gzip 1.12

  7. md5sum 9.1(GNU coreutils)

  8. GNU grep 3.11(PCRE2 10.42 2022-12-11 以降をサポート)

  9. GNU sed 4.9

  10. mysql-client: MySQL 8.x バージョンに一致する公式の Oracle MySQL クライアント

Debian では MySQL パッケージのデフォルトが MariaDB であるため、依存関係をインストールする前に、公式の Oracle MySQL APT リポジトリを構成します。他の Linux ディストリビューションについては、Linux への MySQL のインストールをご覧ください。

Debian ベースの Linux システムに公式の Oracle mysql-client パッケージとその他の必要な依存関係をインストールするには、次の手順を完了します。

  1. MySQL APT リポジトリ構成パッケージをダウンロードします。現在のバージョン番号については、Linux への MySQL のインストールを確認してください。新しいバージョンが利用可能な場合は、次のコマンドの 0.8.32-1 を置き換えます。

    wget https://dev.mysql.com/get/mysql-apt-config_0.8.32-1_all.deb
    
  2. リポジトリ構成パッケージをインストールします。プロンプトが表示されたら、データベースに一致する MySQL 8.x バージョン(MySQL 8.4 など)を選択します。

    sudo apt-get install ./mysql-apt-config_0.8.32-1_all.deb
    
  3. APT パッケージ キャッシュを更新します。

    sudo apt-get update
    
  4. 公式の mysql-client パッケージとその他の必要な依存関係をインストールします。

    sudo apt-get install -y \
      bash \
      gnupg \
      libgcrypt20 \
      gnupg-agent \
      tar \
      gzip \
      coreutils \
      grep \
      sed \
      mysql-client
    

変数を定義する

次のコマンドは、バックアップ生成プロセス全体で使用されるいくつかの変数を定義します。さらにコマンドを実行する予定のターミナルで、これらの変数を構成します。

環境変数: バックアップ ディレクトリのパスを設定する

次のコマンドは、ファイルが作成されるバックアップ ディレクトリのパスを設定します。ディレクトリ固有のバックアップ生成タスクを実行するターミナルで、次のコマンドを実行します。

BACKUP_DIRECTORY="DIRECTORY_PATH"
BACKUP_DIRECTORY="${BACKUP_DIRECTORY%/}"

次のように置き換えます。

  • DIRECTORY_PATH: バックアップ ファイルが作成されるパス。このディレクトリにバックアップを保持するのに十分な容量があることを確認します。パスの先頭の / は含めないでください。

環境変数: ファイル システム バックアップのソースパスを設定する

ファイル システム バックアップのソースパスの変数定義では、looker が Looker アプリケーションをインストールしたユーザーのユーザー名であり、Looker アプリケーションのインストールのドキュメント ページで説明されているように、インストールがユーザーのホーム ディレクトリで行われたと想定しています。Looker を別のディレクトリにインストールした場合は、変数を変更する必要があります。Looker ファイル システムのバックアップを実行するターミナルで、この変数を設定します。

  LOOKER_USER="looker"
  ROOT_LOOKER_FS_DIRECTORY="$(getent passwd "$LOOKER_USER" | cut -d: -f 6)"

環境変数: 新しい Looker インスタンスを定義する

インポート先のインスタンスの名前と一意の ID を表す変数を定義します。Looker チームから、これらの変数の値が提供されます。

export luid='LOOKER_HOSTED_INSTANCE_ID'
export customer='LOOKER_HOSTED_INSTANCE_NAME'

次のように置き換えます。

  • LOOKER_HOSTED_INSTANCE_ID: 移行先の Looker インスタンスの固有識別子
  • LOOKER_HOSTED_INSTANCE_NAME: 移行先の新しい Looker インスタンスの名前

環境変数: 暗号鍵

次のコマンドを実行すると、インスタンスに公開 GPG 鍵がインストールされます。インスタンスのバックアップ コマンドを実行するターミナルで構成します(Looker がこの変数の値を提供します)。

base64_encryption_key="BASE64_ENCRYPTION_KEY"

次のように置き換えます。

  • BASE64_ENCRYPTION_KEY: バックアップ スクリプトがバックアップの暗号化に使用する暗号鍵。この変数の値は Looker チームから提供されます。

公開暗号鍵を生成する

次のコマンドを実行すると、インスタンスに公開 pgp 鍵がインストールされます。バックアップ スクリプトは、この鍵を使用してバックアップを暗号化します。インスタンスをバックアップするコマンドを実行するターミナルで構成します。

echo -n "${base64_encryption_key}" | base64 -d | gpg --import

インスタンス データをバックアップする

次のコマンドを実行して、インスタンスのファイル システムとデータベース スキーマの重要なコンポーネントを安全にパッケージ化し、新しい Looker ホスト型の Looker(オリジナル)インスタンスに転送して復元できるようにします。スクリプトはバックアップを実行し、md5sum を使用してバックアップの整合性を検証します。最後に、GnuPG を使用してバックアップを暗号化してから、結果を MD5 ファイル形式でエクスポートします。

インスタンスのファイル システム データをバックアップする

これらのコマンドは、バックアップ データをエクスポートするディレクトリから、環境変数を設定したのと同じターミナルで実行します。移行先の Looker ホスト型インスタンスのタイプに対応するタブを選択します。

Looker(オリジナル)

次のコマンドを実行して、データの検証やワークフローの自動化に使用されるカスタム Git サーバーサイド フックがバックアップに含まれていることを確認します。

cd "${BACKUP_DIRECTORY}"

function findHookPath() {
rootPath=$1

find \
    ${rootPath}/models{-user-*,}/*/.git/config \
    -maxdepth 0 \
    -type f \
    -xtype f \
  | xargs -I {} grep hooksPath {} \
  | sort \
  | uniq \
  | sed -r -e 's/^.+hooksPath = //g' \
  | xargs -I {} dirname {} \
  | sort \
  | uniq \
  | sed -r -e "s#\.\.\/\.\.\/#${rootPath}/#g"

}

hooksPath=$(findHookPath "${ROOT_LOOKER_FS_DIRECTORY}" | sort | uniq | head -1)

次のコマンドを実行して、必要なすべてのディレクトリを一覧表示し、バックアップします。

time find "${ROOT_LOOKER_FS_DIRECTORY}" \
  -maxdepth 1 \
  -type d \
  \( \
         -name marketplace \
      -o -name bare_models \
      -o -name deploy_keys \
      -o -name models \
      -o -name remote_dependencies \
      -o -name models-self-service \
      -o -name "models-user-*" \
      -o -wholename "${hooksPath}" \
  \) | tar \
  --gzip \
  --create \
  --file="${customer}_looker_fs_backup.tar.gz" \
  --files-from=-

次のコマンドを実行して、暗号化前のバックアップの「フィンガープリント」を取得します。

time md5sum "${customer}_looker_fs_backup.tar.gz" > "${customer}_fs_backup.md5"

次のコマンドを実行して、バックアップを暗号化します。

time gpg --encrypt --yes \
  --output "${customer}_looker_fs_backup.tar.gz.enc" \
  --recipient "looker-devops+migration-${luid}@google.com" \
  "${customer}_looker_fs_backup.tar.gz"

次のコマンドを実行して、暗号化後に別の「フィンガープリント」を取得します。

time md5sum "${customer}_looker_fs_backup.tar.gz.enc" >> "${customer}_fs_backup.md5"

チェックサムは、Looker がデータ バックアップの整合性を検証するのに役立ちます。

Looker(Google Cloud コア)

次のコマンドを実行して、データの検証やワークフローの自動化に使用されるカスタム Git サーバーサイド フックがバックアップに含まれていることを確認します。

cd "${BACKUP_DIRECTORY}"

function findHookPath() {
rootPath=$1

find \
    ${rootPath}/models{-user-*,}/*/.git/config \
    -maxdepth 0 \
    -type f \
    -xtype f \
  | xargs -I {} grep hooksPath {} \
  | sort \
  | uniq \
  | sed -r -e 's/^.+hooksPath = //g' \
  | xargs -I {} dirname {} \
  | sort \
  | uniq \
  | sed -r -e "s#\.\.\/\.\.\/#${rootPath}/#g"

}

hooksPath=$(findHookPath "${ROOT_LOOKER_FS_DIRECTORY}" | sort | uniq | head -1)

次のコマンドを実行して、必要なすべてのディレクトリを一覧表示し、バックアップします。

time find "${ROOT_LOOKER_FS_DIRECTORY}" \
  -maxdepth 1 \
  -type d \
  \( \
         -name marketplace \
      -o -name bare_models \
      -o -name deploy_keys \
      -o -name models \
      -o -name remote_dependencies \
      -o -name models-self-service \
      -o -name "models-user-looker" \
      -o -wholename "${hooksPath}" \
  \) | tar \
  --gzip \
  --create \
  --file="${customer}_looker_fs_backup.tar.gz" \
  --files-from=-

次のコマンドを実行して、暗号化前のバックアップの「フィンガープリント」を取得します。

time md5sum "${customer}_looker_fs_backup.tar.gz" > "${customer}_fs_backup.md5"

次のコマンドを実行して、バックアップを暗号化します。

time gpg --encrypt --yes \
  --output "${customer}_looker_fs_backup.tar.gz.enc" \
  --recipient "looker-devops+migration-${luid}@google.com" \
  "${customer}_looker_fs_backup.tar.gz"

次のコマンドを実行して、暗号化後に別の「フィンガープリント」を取得します。

time md5sum "${customer}_looker_fs_backup.tar.gz.enc" >> "${customer}_fs_backup.md5"

チェックサムは、Looker がデータ バックアップの整合性を検証するのに役立ちます。

このスクリプトは、移行のファイル システム部分に対して次のファイルを生成します。

  1. ${customer}_looker_fs_backup.tar.gz.enc: 暗号化され、圧縮されたファイル システムのバックアップ。
  2. ${customer}_fs_backup.md5: 検証用のチェックサムを含むファイル。

インスタンス データベース スキーマをバックアップする

これらのコマンドは、移行ツールが Looker インスタンスの内部データベースに接続できるようにする一時的な構成ファイルを作成することで、Looker インスタンス データベース スキーマをバックアップするための環境を準備します。このスクリプトは、ユーザー名やホスト名などの機密データをコマンドに直接渡すのではなく、構成ファイルに書き込みます。このファイルは、mysqldump や mysql などのツールで読み取ることができます。

次のコマンドを実行して、一時構成ファイルを作成し、さまざまな設定を行います。

export database_name="DATABASE_SCHEMA_NAME"
temporary_cnf_file="$(mktemp --tmpdir=. --suffix .cnf)"
echo "[client]
host=DATABASE_HOST
port=DATABASE_PORT
user=DATABASE_USER
password=PASSWORD

[mariadb-dump]
no-sandbox

[mysql]
no-auto-rehash

[mysqldump]
no-tablespaces
loose_set-gtid-purged=OFF
single-transaction
quick
max_allowed_packet=1G
ignore-table=${database_name}.LookerQ_LookerBQ_ACTIVEMQ_ACKS
ignore-table=${database_name}.LookerQ_LookerBQ_ACTIVEMQ_LOCK
ignore-table=${database_name}.LookerQ_LookerBQ_ACTIVEMQ_MSGS

[Server-specific settings - mostly for mysqld/mariadbd processes]
max_allowed_packet = 1024M
" > ${temporary_cnf_file}

次のように置き換えます。

  • DATABASE_HOST: Looker データベースの DNS または IP。
  • DATABASE_PORT: データベース ポート。
  • DATABASE_USER: エクスポートを実行するデータベース ユーザー名。
  • PASSWORD: エクスポートを実行するユーザーのパスワードの平文値。Looker はこのパスワードを確認しません。ただし、平文のパスワード要件を省略する場合は、この変数を空白のままにすると、バックアップ コマンドの実行時にパスワードの入力を求められます。
  • DATABASE_SCHEMA_NAME: データベースまたはスキーマの名前。

データベースで接続に SSL 証明書が必要な場合は、一時構成ファイルに次のパスを追加します。

認証局(CA)ファイルへのパスを設定します。

ssl-ca=/etc/mysql/certs/ca.pem

クライアント SSL 証明書のパスを設定します。

ssl-cert=/etc/mysql/certs/client-cert.pem

クライアント SSL 秘密鍵のパスを設定します。

ssl-key=/etc/mysql/certs/client-key.pem

MySQL データベースの場合、SSL を要求し、サーバー証明書を検証します。

loose-ssl-mode=VERIFY_CA

MariaDB データベースの場合、SSL を要求し、サーバー証明書を検証します。

loose-ssl-verify-server-cert=ON

次のコマンドを実行して、データベース スキーマのバックアップを実行、暗号化、検証します。

バックアップを保存するディレクトリに移動します。

cd "${BACKUP_DIRECTORY}"

次のコマンドを実行して、データベースをバックアップします。

time mysqldump \
    --defaults-file="${temporary_cnf_file}" \
    "${database_name}" \
  | gzip > "${customer}_looker_db_backup.sql.gz"

次のコマンドを実行して、暗号化前のバックアップの「フィンガープリント」を取得します。

time md5sum "${customer}_looker_db_backup.sql.gz" >> "${customer}_db_backup.md5"

次のコマンドを実行して、バックアップを暗号化します。

time gpg --encrypt --yes \
    --output "${customer}_looker_db_backup.sql.gz.enc" \
    --recipient "looker-devops+migration-${luid}@google.com" \
    "${customer}_looker_db_backup.sql.gz"

次のコマンドを実行して、暗号化後に別の「フィンガープリント」を取得します。

time md5sum "${customer}_looker_db_backup.sql.gz.enc" >> "${customer}_db_backup.md5"

このスクリプトは、移行のデータベース スキーマ部分に対して次のファイルを生成します。

  1. ${customer}_looker_db_backup.sql.gz.enc: 暗号化され、圧縮されたデータベース スキーマのバックアップ。
  2. ${customer}_db_backup.md5: 検証用のチェックサムを含むファイル。

顧客管理の暗号鍵(CMK)を暗号化する

次のコマンドは、CMK の検証、フォーマット、暗号化を行います。この暗号化を行わないと、移行されたデータベースを新しい Looker 環境で復号できません。

注意: 次の CMK コマンドは、内部データベースをホストするマシンまたは Looker インスタンスをホストするマシンで 1 回だけ実行する必要があります。両方で実行する必要はありません。

まず、現在の CMK を使用して変数を設定します。これは base64 形式にする必要があります。

CMK="CUSTOMER_CMK_KEY"

次のように置き換えます。

  • CUSTOMER_CMK_KEY: CMK の値

次に、以下のコマンドを実行して、CMK 鍵ファイルの生成、復号された CMK のチェックサムの生成、CMK ファイルの暗号化、暗号化された CMK のチェックサムの生成を行います。

echo -n "${CMK}" > "${customer}_looker_cmk_key"

time md5sum "${customer}_looker_cmk_key" >> "${customer}_cmk_key.md5"

time gpg --encrypt --yes \
  --output "${customer}_looker_cmk_key.enc" \
  --recipient "looker-devops+migration-${luid}@google.com" \
  "${customer}_looker_cmk_key"

time md5sum "${customer}_looker_cmk_key.enc" >> "${customer}_cmk_key.md5"

このスクリプトは、移行の CMK 部分に対して次のファイルを生成します。

  • ${customer}_looker_cmk_key.enc: 暗号化された CMK ファイル
  • ${BACKUP_DIRECTORY}/${customer}_cmk_key.md5: 検証用のチェックサムを含むファイル

移行ファイルを準備する

これまでに実行したスクリプトによって、次のファイルが生成されています。

  • compute_usage_info.csv: インスタンスのコンピューティング使用量に関する情報を含む CSV ファイル
  • fs_perf_info.csv: インスタンスのファイル システムのパフォーマンスに関する情報を含む CSV ファイル
  • ${customer}_looker_fs_backup.tar.gz.enc: 暗号化され、圧縮されたファイル システムのバックアップ
  • ${customer}_fs_backup.md5: 検証用のチェックサムを含むファイル
  • ${customer}_looker_db_backup.sql.gz.enc: 暗号化され、圧縮されたデータベース スキーマのバックアップ
  • ${customer}_db_backup.md5: 検証用のチェックサムを含むファイル
  • ${customer}_cmk_key.md5: 検証用のチェックサムを含むファイル
  • ${customer}_looker_cmk_key.enc: 暗号化された CMK ファイル

MD5 ファイルを ${customer}_backup.md5 という 1 つのファイルに結合するには、バックアップ ディレクトリで次のコマンドを実行します。

cat \
    "${customer}_db_backup.md5" \
    "${customer}_fs_backup.md5" \
    "${customer}_cmk_key.md5" \
  | sort | uniq \
  > "${customer}_backup.md5"

バックアップ アーティファクトを検証する

バックアップ ファイルが完全で、安全で、移行の準備が整っていることを確認するには、Looker オンプレミス Data Verifier ツールを使用します。このツールは、MD5 チェックサム、GPG 暗号鍵、データベース構造、CMK の有効性の確認など、包括的な検証を行います。

検証ツールをインストールする

検証ツールを実行するには、マシンに Go と GnuPG がインストールされている必要があります。

リポジトリのクローンを作成してツールをビルドするには、次のコマンドを実行します。

git clone https://github.com/looker-open-source/customer-scripts.git
cd customer-scripts/onprem-data-verifier
go build -o onprem-verifier main.go

検証ツールを実行する

このツールは、バックアップ ファイルを含むディレクトリを操作します。ツールを実行する前に、必要なファイル(4 つの暗号化されたアーティファクトと 3 つの復号されたアーティファクト)がすべて ${BACKUP_DIRECTORY} にあることを確認します。

次のコマンドを実行して、アーティファクトを検証します。

./onprem-verifier \
  --backupDir "${BACKUP_DIRECTORY}" \
  --customerName "${customer}" \
  --luid "${luid}"

成功すると、ツールは metadata.json ファイルを生成します。バックアップ アーティファクトを Looker チームに引き渡す際には、このファイルを含める必要があります。

metadata.json ファイルを手動で生成する

metadata.json ファイルを生成できない場合(onprem-verifier ツールの実行に失敗した場合など)は、ファイルを手動で生成できます。このプロセスは、移行の問題を早期に検出するのに役立ちます。

環境変数を定義したターミナルで、次のスクリプトを実行します。

cd "${BACKUP_DIRECTORY:?}"

fs_size=$(wc -c < "${customer:?}_looker_fs_backup.tar.gz.enc" 2>/dev/null || echo 0)
db_size=$(wc -c < "${customer:?}_looker_db_backup.sql.gz.enc" 2>/dev/null || echo 0)
current_time=$(date -u +"%Y-%m-%dT%H:%M:%SZ")
cat > metadata.json <<EOF
{
  "customer_name": "${customer:?}",
  "instance_id": "${luid:?}",
  "generated_at": "${current_time:?}",
  "fs_total_size_bytes": ${fs_size:?},
  "db_total_size_bytes": ${db_size:?},
  "file_size_in_bytes": {
$(for FILE in *; do
  [[ ! -f "${FILE}" || "${FILE}" == "metadata.json" ]] && continue
  echo "    \"${FILE}\": $(stat -c %s "${FILE}"),"
done)
    "_SENTINEL_": 0
  }
}
EOF

ファイルを渡す

バックアップと暗号化のプロセスが完了すると、次のファイルが作成されます。

  • ${customer}_looker_db_backup.sql.gz.enc
  • ${customer}_looker_fs_backup.tar.gz.enc
  • ${customer}_looker_cmk_key.enc
  • ${customer}_backup.md5
  • metadata.json
  • compute_usage_info.csv
  • fs_perf_info.csv

これらのファイルを Looker チームに提供して、Looker ホスト型インスタンスにインポートします。