CSV ファイルをデータポータルにアップロードする

ほとんどのソースのデータは、CSV(カンマ区切り値)形式のファイルでアップロードすることでデータポータルに取り込むことができます。ファイルのアップロードを使用して、特定のコネクタでサポートされていないデータに関するレポートを作成することもできます。

ファイルのアップロードの仕組み

ファイルをアップロードすると、そのファイルが「データセット」に追加されます。これにより、そのデータセットを基にしたデータソースを作成できます。

データセットは、作成したユーザーによって所有されるため、共有することはできませんが、データセットを基に作成されたデータソースは、他のどのユーザーも共有したり編集したりできます。つまり、データセットは共有データソースやレポートで使用できますが、データセット自体にアクセスできるのはあなただけです。

1 つのデータセットに複数のファイルをアップロードできます。新しいファイルを追加すると、そのデータがデータセットに追加されます。

アップロードしたデータは Cloud Storage に保存されます。これには、クラウドからデータにアクセスしてダウンロードできることや、データを使用して他の Google Cloud サービスを利用できることなど、多くのメリットがあります。

Cloud Storage の詳細を確認する

CSV ファイルのデータソースを作成する

データポータルでは、アップロードされた CSV ファイルがデータセットに保存されます。データセットには、同じ列ヘッダーを持つ 1 つ以上の CSV ファイルを含めることができます。CSV ファイルのデータソースには、1 つ以上のデータセットを含めることができます。

新しい CSV ファイル データソースを作成する手順は次のとおりです。

  1. データポータルにログインします
  2. [作成] ボタンをクリックし、[データソース] を選択します。
  3. [CSV ファイルのアップロード] Google コネクタを選択します。
  4. [データセットを追加] ボタンをクリックして、新しいデータセットを作成します。
    • 1 つ以上の CSV ファイルを [利用可能なデータセット] セクションにドラッグすることもできます。データポータルは、アップロードされたファイルを含む新しいデータセットを作成します。
  5. ファイルのアップロードが完了したら、[接続] ボタンをクリックします。

アップロードしたデータは Cloud Storage に保存されます。このストレージ設定には、クラウドからデータにアクセスしてダウンロードできることや、データで他の Google Cloud サービスを使用できることなど、多くの利点があります。

Cloud Storage の詳細を確認する

データセットに CSV ファイルを追加する

列ヘッダーが一致していれば、複数のファイルをデータセットにアップロードできます。新しいファイルを追加すると、そのデータがデータセットに追加されます。これにより、時間の経過とともにデータを更新できます。

CSV ファイルをデータセットに追加する手順は次のとおりです。

  1. データポータルにログインします
  2. [データソース] タブをクリックします。
  3. CSV ファイルを含むデータソースを選択します。
  4. [Edit Connection] をクリックします。
  5. [利用可能なデータセット] セクションで、ファイルを追加するデータセットを選択します。
  6. [Add file] ボタンをクリックします。
    • 1 つ以上の CSV ファイルを [データセット内のファイル] セクションにドラッグすることもできます。
  7. ファイルのアップロードが完了したら、[再接続] ボタンをクリックします。

データセットの共有

データセットは、作成したユーザーによって所有されるため、共有することはできません。ただし、データセットを基にデータソースを作成すると、そのデータソースを他のユーザーと共有できるようになります。つまり、データセットは共有データソースやレポートで使用できますが、データセット自体にアクセスできるのはあなただけです。

アップロード ファイル形式

アップロードするファイルでは、正しい形式を使用する必要があります。正しくないものが使用された場合は、アップロード中にエラーが発生したり、レポートにデータが正しく表示されなかったりする可能性があります。

コンテンツ エラーが発生する最もよくある原因として、アップロードされたデータ内で区切り文字、引用符、改行文字が誤って使用されていることが考えられます。ファイル アップロードでこれらの文字がどのように処理されるか理解しておくと、余分な手間を省くことができます。

UTF-8 エンコード

アップロードするファイルは UTF-8 エンコードにする必要があります。ほとんどのウェブ上のアプリケーションでは、このエンコード方式が標準となっています。

ただし、一部のデスクトップ製品(たとえば Microsoft Excel)からエクスポートしたデータは、データポータルによるアップロードの前に、UTF-8 への変換が必要となることがあります。そうしないと、データポータルから Invalid characters in the file. Only UTF-8 encoded characters are supported. などのエラー メッセージが返されることがあります。

表形式データのみ

ファイル アップロードでインポートできるのは、表形式データのファイルのみです。このためファイルは、行と列からなる標準の構造になっていなければなりません。テーブル内の特定のセルにデータがない場合でも、各行の列数は同じである必要があります。結合されたセルや不整合な構造を含むファイルをアップロードしようとすると、アップロード エラーが発生します。

区切り文字(セパレータ)

データ内のすべてのフィールドは、カンマで区切る必要があります。

アップロードするフィールドの実際のデータにカンマが含まれている場合は、そのフィールドを引用符で囲む必要があります。データに二重引用符が含まれている場合は、一重引用符を使用してフィールドを囲むことができます。

ヘッダー行

ファイルの 1 行目は、見出し行にする必要があります。この行では、データポータルで使用するフィールドの名前を指定します。フィールド名は重複しないようにする必要があるため、見出し行で重複する値を指定することはできません。

列名は次の条件を満たす必要があります。

  • 使用できるのは英数字とアンダースコアのみです。その他の句読点や特殊文字は使用できません。
  • 先頭は英字またはアンダースコアにする
  • 128 文字以内

見出し行も、区切り文字に関する規則に沿ったものにします。

改行

ファイル内の行は、それぞれ末尾で改行する必要があります。改行が引用符でエスケープされていても、ファイル アップロードではサポートされません。

トラブルシューティング

以下のセクションでは、CSV ファイルのアップロード時に発生する可能性のある一般的なエラーについて説明します。

エラー: ファイルが無効です

CSV ファイルをアップロードしようとした後にデータポータルにエラー File is Invalid が表示される場合は、次の原因が考えられます。

  • ファイルに無効な UTF-8 文字が含まれている。
  • ファイルが実際には CSV ファイルではない。たとえば、PDF ファイルの名前を変更して「.csv」拡張子を使用すると、データポータルはファイルを正しく解析できません。

ファイル アップロードの上限

ファイルのアップロードには次の制限があります。

  • ユーザーあたり 1,000 個のデータセット
  • ユーザー 1 人あたり合計 2 GB のストレージ
  • データセットごとに 1 日あたり 100 件
  • ファイルサイズはデータセットあたり 100 MB まで

データソースについて