ほとんどのソースのデータは、CSV(カンマ区切り値)形式のファイルでアップロードすることでデータポータルに取り込むことができます。ファイルのアップロードを使用して、特定のコネクタでサポートされていないデータに関するレポートを作成することもできます。
ファイルのアップロードの仕組み
ファイルをアップロードすると、そのファイルが「データセット」に追加されます。これにより、そのデータセットを基にしたデータソースを作成できます。
データセットは、作成したユーザーによって所有されるため、共有することはできませんが、データセットを基に作成されたデータソースは、他のどのユーザーも共有したり編集したりできます。つまり、データセットは共有データソースやレポートで使用できますが、データセット自体にアクセスできるのはあなただけです。
1 つのデータセットに複数のファイルをアップロードできます。新しいファイルを追加すると、そのデータがデータセットに追加されます。
アップロードしたデータは Cloud Storage に保存されます。これには、クラウドからデータにアクセスしてダウンロードできることや、データを使用して他の Google Cloud サービスを利用できることなど、多くのメリットがあります。
Cloud Storage の詳細を確認する
CSV ファイルのデータソースを作成する
データポータルでは、アップロードされた CSV ファイルがデータセットに保存されます。データセットには、同じ列ヘッダーを持つ 1 つ以上の CSV ファイルを含めることができます。CSV ファイルのデータソースには、1 つ以上のデータセットを含めることができます。
新しい CSV ファイル データソースを作成する手順は次のとおりです。
- データポータルにログインします
- [作成] ボタンをクリックし、[データソース] を選択します。
- [CSV ファイルのアップロード] Google コネクタを選択します。
- [データセットを追加] ボタンをクリックして、新しいデータセットを作成します。
- 1 つ以上の CSV ファイルを [利用可能なデータセット] セクションにドラッグすることもできます。データポータルは、アップロードされたファイルを含む新しいデータセットを作成します。
- ファイルのアップロードが完了したら、[接続] ボタンをクリックします。
アップロードしたデータは Cloud Storage に保存されます。このストレージ設定には、クラウドからデータにアクセスしてダウンロードできることや、データで他の Google Cloud サービスを使用できることなど、多くの利点があります。
Cloud Storage の詳細を確認する
データセットに CSV ファイルを追加する
列ヘッダーが一致していれば、複数のファイルをデータセットにアップロードできます。新しいファイルを追加すると、そのデータがデータセットに追加されます。これにより、時間の経過とともにデータを更新できます。
CSV ファイルをデータセットに追加する手順は次のとおりです。
- データポータルにログインします
- [データソース] タブをクリックします。
- CSV ファイルを含むデータソースを選択します。
- [Edit Connection] をクリックします。
- [利用可能なデータセット] セクションで、ファイルを追加するデータセットを選択します。
- [Add file] ボタンをクリックします。
- 1 つ以上の CSV ファイルを [データセット内のファイル] セクションにドラッグすることもできます。
- ファイルのアップロードが完了したら、[再接続] ボタンをクリックします。
データセットの共有
データセットは、作成したユーザーによって所有されるため、共有することはできません。ただし、データセットを基にデータソースを作成すると、そのデータソースを他のユーザーと共有できるようになります。つまり、データセットは共有データソースやレポートで使用できますが、データセット自体にアクセスできるのはあなただけです。
アップロード ファイル形式
アップロードするファイルでは、正しい形式を使用する必要があります。正しくないものが使用された場合は、アップロード中にエラーが発生したり、レポートにデータが正しく表示されなかったりする可能性があります。
コンテンツ エラーが発生する最もよくある原因として、アップロードされたデータ内で区切り文字、引用符、改行文字が誤って使用されていることが考えられます。ファイル アップロードでこれらの文字がどのように処理されるか理解しておくと、余分な手間を省くことができます。
UTF-8 エンコード
アップロードするファイルは UTF-8 エンコードにする必要があります。ほとんどのウェブ上のアプリケーションでは、このエンコード方式が標準となっています。
ただし、一部のデスクトップ製品(たとえば Microsoft Excel)からエクスポートしたデータは、データポータルによるアップロードの前に、UTF-8 への変換が必要となることがあります。そうしないと、データポータルから Invalid characters in the file. Only UTF-8 encoded characters are supported. などのエラー メッセージが返されることがあります。
表形式データのみ
ファイル アップロードでインポートできるのは、表形式データのファイルのみです。このためファイルは、行と列からなる標準の構造になっていなければなりません。テーブル内の特定のセルにデータがない場合でも、各行の列数は同じである必要があります。結合されたセルや不整合な構造を含むファイルをアップロードしようとすると、アップロード エラーが発生します。
区切り文字(セパレータ)
データ内のすべてのフィールドは、カンマで区切る必要があります。
アップロードするフィールドの実際のデータにカンマが含まれている場合は、そのフィールドを引用符で囲む必要があります。データに二重引用符が含まれている場合は、一重引用符を使用してフィールドを囲むことができます。
ヘッダー行
ファイルの 1 行目は、見出し行にする必要があります。この行では、データポータルで使用するフィールドの名前を指定します。フィールド名は重複しないようにする必要があるため、見出し行で重複する値を指定することはできません。
列名は次の条件を満たす必要があります。
- 使用できるのは英数字とアンダースコアのみです。その他の句読点や特殊文字は使用できません。
- 先頭は英字またはアンダースコアにする
- 128 文字以内
見出し行も、区切り文字に関する規則に沿ったものにします。
改行
ファイル内の行は、それぞれ末尾で改行する必要があります。改行が引用符でエスケープされていても、ファイル アップロードではサポートされません。
トラブルシューティング
以下のセクションでは、CSV ファイルのアップロード時に発生する可能性のある一般的なエラーについて説明します。
エラー: ファイルが無効です
CSV ファイルをアップロードしようとした後にデータポータルにエラー File is Invalid が表示される場合は、次の原因が考えられます。
- ファイルに無効な UTF-8 文字が含まれている。
- ファイルが実際には CSV ファイルではない。たとえば、PDF ファイルの名前を変更して「.csv」拡張子を使用すると、データポータルはファイルを正しく解析できません。
ファイル アップロードの上限
ファイルのアップロードには次の制限があります。
- ユーザーあたり 1,000 個のデータセット
- ユーザー 1 人あたり合計 2 GB のストレージ
- データセットごとに 1 日あたり 100 件
- ファイルサイズはデータセットあたり 100 MB まで