BigQuery의 데이터 유형 매핑

Datastream은 지원되는 소스의 데이터 유형을 호환되는 BigQuery 데이터 유형으로 자동 변환합니다. 이러한 매핑을 이해하면 대상 스키마를 계획하고, BigQuery에서 MongoDB 바이너리 JSON (BSON) 문서를 사용하고, PostgreSQL 배열을 BigQuery ARRAY 데이터 유형으로 쿼리하는 데 도움이 됩니다.

데이터 유형 매핑

다음 표에는 지원되는 소스 데이터베이스에서 BigQuery 대상으로의 데이터 유형 변환이 나와 있습니다.

소스 데이터베이스 소스 데이터 유형 BigQuery 데이터 유형
MySQL BIGINT(size) INT64
MySQL BIGINT (unsigned) DECIMAL
MySQL BINARY(size) STRING (hex encoded)
MySQL BIT(size) INT64
MySQL BLOB(size) STRING (hex encoded)
MySQL BOOL INT64
MySQL CHAR(size) STRING
MySQL DATE DATE
MySQL DATETIME(fsp) DATETIME
MySQL DECIMAL(precision, scale) 정밀도 값이 38 이하이고 배율 값이 9 이하이면 NUMERIC입니다. 그 이외의 경우 BIGNUMERIC를 사용합니다.
MySQL DOUBLE(size, d) FLOAT64
MySQL ENUM(val1, val2, val3, ...) STRING
MySQL FLOAT(precision) FLOAT64
MySQL FLOAT(size, d) FLOAT64
MySQL INTEGER(size) INT64
MySQL INTEGER (unsigned) INT64
MySQL

JSON

 JSON
MySQL LONGBLOB STRING (hex encoded)
MySQL LONGTEXT STRING
MySQL MEDIUMBLOB STRING (hex encoded)
MySQL MEDIUMINT(size) INT64
MySQL MEDIUMTEXT STRING
MySQL SET(val1, val2, val3, ...) STRING
MySQL SMALLINT(size) INT64
MySQL TEXT(size) STRING
MySQL TIME(fsp) INTERVAL
MySQL TIMESTAMP(fsp) TIMESTAMP
MySQL TINYBLOB STRING (hex encoded)
MySQL TINYINT(size) INT64
MySQL TINYTEXT STRING
MySQL VARBINARY(size) STRING (hex encoded)
MySQL VARCHAR STRING
MySQL YEAR INT64
Oracle ANYDATA UNSUPPORTED
Oracle BFILE UNSUPPORTED
Oracle BINARY DOUBLE FLOAT64
Oracle BINARY FLOAT FLOAT64
Oracle BLOB BYTES
Oracle CHAR STRING
Oracle CLOB STRING
Oracle DATE DATETIME
Oracle DOUBLE PRECISION FLOAT64
Oracle FLOAT(p) FLOAT64
Oracle INTERVAL DAY TO SECOND UNSUPPORTED
Oracle INTERVAL YEAR TO MONTH UNSUPPORTED
Oracle LONG 또는 LONG RAW UNSUPPORTED
Oracle NCHAR STRING
Oracle NCLOB STRING
Oracle NUMBER STRING
Oracle NUMBER(precision=*) STRING
Oracle NUMBER(precision, scale<=0) 정밀도가 18 이하이면 INT64입니다. 18 < 정밀도 ≤ 78인 경우 매개변수화된 10진수 유형에 매핑합니다. 정밀도가 79 이상이면 STRING에 매핑합니다.
Oracle NUMBER(precision, scale>0) 0 < 정밀도 ≤ 78인 경우 매개변수화된 10진수 유형에 매핑합니다. 정밀도가 79 이상이면 STRING로 매핑합니다.
Oracle NVARCHAR2 STRING
Oracle RAW STRING
Oracle ROWID STRING
Oracle SDO_GEOMETRY UNSUPPORTED
Oracle SMALLINT INT64
Oracle TIMESTAMP TIMESTAMP
Oracle TIMESTAMP WITH TIME ZONE TIMESTAMP
Oracle UDT (user-defined type) UNSUPPORTED
Oracle UROWID UNSUPPORTED
Oracle VARCHAR STRING
Oracle VARCHAR2 STRING
Oracle XMLTYPE UNSUPPORTED
PostgreSQL ARRAY JSON
PostgreSQL BIGINT INT64
PostgreSQL BIT BYTES
PostgreSQL BIT VARYING BYTES
PostgreSQL BOOLEAN BOOLEAN
PostgreSQL BOX UNSUPPORTED
PostgreSQL BYTEA BYTES
PostgreSQL CHARACTER STRING
PostgreSQL CHARACTER VARYING STRING
PostgreSQL CIDR STRING
PostgreSQL CIRCLE UNSUPPORTED
PostgreSQL DATE DATE
PostgreSQL DOUBLE PRECISION FLOAT64
PostgreSQL ENUM STRING
PostgreSQL INET STRING
PostgreSQL INTEGER INT64
PostgreSQL INTERVAL INTERVAL
PostgreSQL JSON JSON
PostgreSQL JSONB JSON
PostgreSQL LINE UNSUPPORTED
PostgreSQL LSEG UNSUPPORTED
PostgreSQL MACADDR STRING
PostgreSQL MONEY FLOAT64
PostgreSQL NUMERIC 정밀도가 -1이면 STRING입니다(BigQuery NUMERIC 유형에는 고정 정밀도가 필요함). 그 외의 경우 BIGNUMERIC 또는 NUMERIC입니다. 자세한 내용은 PostgreSQL 문서의 임의 정밀도 숫자 섹션을 참고하세요.
PostgreSQL OID INT64
PostgreSQL PATH UNSUPPORTED
PostgreSQL POINT UNSUPPORTED
PostgreSQL POLYGON UNSUPPORTED
PostgreSQL REAL FLOAT64
PostgreSQL SMALLINT INT64
PostgreSQL SMALLSERIAL INT64
PostgreSQL SERIAL INT64
PostgreSQL TEXT STRING
PostgreSQL TIME TIME
PostgreSQL TIMESTAMP TIMESTAMP
PostgreSQL TIMESTAMP WITH TIME ZONE TIMESTAMP
PostgreSQL TIME WITH TIME ZONE TIME
PostgreSQL TSQUERY STRING
PostgreSQL TSVECTOR STRING
PostgreSQL TXID SNAPSHOT STRING
PostgreSQL UUID STRING
PostgreSQL XML STRING
SQL Server BIGINT INT64
SQL Server BINARY BYTES
SQL Server BIT BOOL
SQL Server CHAR STRING
SQL Server DATE DATE
SQL Server DATETIME2 DATETIME
SQL Server DATETIME DATETIME
SQL Server DATETIMEOFFSET TIMESTAMP
SQL Server DECIMAL 배율 값이 9 이하이고 (precision - scale) 값이 29 이하이면 NUMERIC입니다. 그 외의 경우에는 BIGNUMERIC입니다.
SQL Server FLOAT FLOAT64
SQL Server GEOGRAPHY STRUCT
SQL Server GEOMETRY STRUCT
SQL Server IMAGE BYTES
SQL Server INT INT64
SQL Server MONEY NUMERIC
SQL Server NCHAR STRING
SQL Server NTEXT STRING
SQL Server NUMERIC 배율 값이 9 이하이고 (precision - scale) 값이 29 이하이면 NUMERIC입니다. 그 외의 경우에는 BIGNUMERIC입니다.
SQL Server NVARCHAR STRING
SQL Server NVARCHAR(MAX) STRING
SQL Server REAL FLOAT64
SQL Server SMALLDATETIME DATETIME
SQL Server SMALLINT INT64
SQL Server SMALLMONEY NUMERIC
SQL Server TEXT STRING
SQL Server TIME TIME
SQL Server TIMESTAMP 또는 ROWVERSION BYTES
SQL Server TINYINT INT64
SQL Server UNIQUEIDENTIFIER STRING
SQL Server VARBINARY BYTES
SQL Server VARBINARY(MAX) BYTES
SQL Server VARCHAR STRING
SQL Server VARCHAR(MAX) STRING
SQL Server XML STRING
Salesforce BOOLEAN BOOLEAN
Salesforce BYTE BYTES
Salesforce DATE DATE
Salesforce DATETIME DATETIME
Salesforce DOUBLE BIGNUMERIC
Salesforce INT INT64
Salesforce STRING STRING
Salesforce TIME TIME
Salesforce ANYTYPE
(STRING, DATE, NUMBER 또는 BOOLEAN일 수 있음)		 STRING
Salesforce COMBOBOX STRING
Salesforce CURRENCY FLOAT64

허용되는 최대 길이는 18자리입니다.
Salesforce DATACATEGORYGROUPREFERENCE STRING
Salesforce EMAIL STRING
Salesforce ENCRYPTEDSTRING STRING
Salesforce ID STRING
Salesforce JUNCTIONIDLIST STRING
Salesforce MASTERRECORD STRING
Salesforce MULTIPICKLIST STRING
Salesforce PERCENT FLOAT64

허용되는 최대 길이는 18자리입니다.
Salesforce PHONE STRING
Salesforce PICKLIST STRING
Salesforce REFERENCE STRING
Salesforce TEXTAREA STRING

허용되는 최대 길이는 255자입니다.
Salesforce URL STRING
Spanner (GoogleSQL) ARRAY JSON
Spanner (GoogleSQL) BOOL BOOLEAN
Spanner (GoogleSQL) BYTES BYTES
Spanner (GoogleSQL) DATE DATE
Spanner (GoogleSQL) FLOAT32 FLOAT64
Spanner (GoogleSQL) FLOAT64 FLOAT64
Spanner (GoogleSQL) INT64 INT64
Spanner (GoogleSQL) JSON JSON
Spanner (GoogleSQL) NUMERIC STRING
Spanner (GoogleSQL) STRING STRING
Spanner (GoogleSQL) TIMESTAMP TIMESTAMP WITH TIME ZONE
Spanner (GoogleSQL) UUID STRING
Spanner (GoogleSQL) PROTO UNSUPPORTED
Spanner (GoogleSQL) ENUM UNSUPPORTED
Spanner (PostgreSQL) ARRAY JSON
Spanner (PostgreSQL) BIGINT INT64
Spanner (PostgreSQL) BOOL BOOLEAN
Spanner (PostgreSQL) BYTEA BYTES
Spanner (PostgreSQL) DATE DATE
Spanner (PostgreSQL) DECIMAL STRING
Spanner (PostgreSQL) DOUBLE PRECISION FLOAT64
Spanner (PostgreSQL) FLOAT8 FLOAT64
Spanner (PostgreSQL) INT8 INT64
Spanner (PostgreSQL) JSONB JSON
Spanner (PostgreSQL) NUMERIC STRING
Spanner (PostgreSQL) TIMESTAMP WITH TIME ZONE TIMESTAMP WITH TIME ZONE
Spanner (PostgreSQL) TIMESTAMPZ TIMESTAMP WITH TIME ZONE
Spanner (PostgreSQL) UUID STRING
Spanner (PostgreSQL) VARCHAR STRING

MongoDB 데이터 유형

MongoDB 바이너리 JSON (BSON) 문서는 스트림 생성 중에 지정한 항목에 따라 두 가지 모드 중 하나로 BigQuery에 기록됩니다 (스트림 관리 참조). 표준 모드 (기본값) 또는 엄격 모드.

  • 표준 모드 (기본값): 데이터 충실도를 우선시하는 최신 형식으로, 더 설명적입니다. 모든 BSON 유형에 명시적으로 라벨이 지정되도록 합니다. 예를 들어 32비트와 64비트 정수를 구분하여 데이터 교환 중에 정밀도 손실을 방지합니다. 표준 모드는 엄격 모드보다 약간 느릴 수 있지만 모든 데이터 유형을 지원합니다. 자세한 내용은 MongoDB 확장 JSON을 참조하세요.
  • 엄격 모드: JSON 파서와 호환되도록 설계된 기존 형식으로, "$date"와 같은 특정 규칙을 사용하여 표준 JSON에 없는 유형을 나타냅니다. Infinity, -Infinity, NaN와 같은 특정 데이터 유형은 지원되지 않습니다. 자세한 내용은 MongoDB 확장 JSON (v1)을 참고하세요.

다음 표에서는 두 모드에서 BigQuery의 데이터 유형이 표시되는 방식과 예시 값을 보여줍니다.

BSON 데이터 유형 예시 값 표준 모드 엄격 모드
DOUBLE 3.1415926535 {"$numberDouble":"3.1415926535"} 3.1415926535
Infinity Infinity {"$numberDouble":"Infinity"} 지원되지 않음
-Infinity -Infinity {"$numberDouble":"-Infinity"} 지원되지 않음
NaN NaN {"$numberDouble":"NaN"} 지원되지 않음
STRING "Hello, MongoDB!" "Hello, MongoDB!" "Hello, MongoDB!"
ARRAY 
[
  "item1",
  123,
  true,
  { subItem: "object in array" }
]
["item1",{"$numberInt":"123"},true,{"subItem":"object in array"}] ["item1",123,true,{"subItem":"object in array"}]
BINARY DATA new BinData(0, "SGVsbG8gQmluYXJ5IERhdGE=") {"$binary":{"base64":"SGVsbG8gQmluYXJ5IERhdGE=","subType":"00"}} {"$binary":"SGVsbG8gQmluYXJ5IERhdGE=","$type":"00"}
BOOLEAN true true true
DATE 2024-12-25T10:30:00.000+00:00 {"$date":{"$numberLong":"1735122600000"}} {"$date": 1735122600000}
NULL null null null
REGEX /^mongo(db)?$/i {"$regularExpression":{"pattern":"^mongo(db)?$","options":"i"}} {"$options":"i","$regex":"^mongo(db)?$"}
JAVASCRIPT function() {return this.stringField.length;} {"$code":"function() {\n return this.stringField.length;\n }"} {"$code":"function() {\n return this.stringField.length;\n }"}
DECIMAL128 NumberDecimal("1234567890.1234567890") {"$numberDecimal":"1234567890.1234567890"} {"$numberDecimal":"1234567890.1234567890"}
OBJECTID ObjectId('673c5d8dbfe2e51808cc2c3d') {"$oid": "673c5d8dbfe2e51808cc2c3d"} {"$oid": "673c5d8dbfe2e51808cc2c3d"}
LONG 3567587327 {"$numberLong": "3567587327"} {"$numberLong": "3567587327"}
INT32 42 {"$numberInt": "42"} 42
INT64 1864712049423024127 {"$numberLong": "1864712049423024127"} {"$numberLong": "1864712049423024127"}
TIMESTAMP new Timestamp(1747888877, 1) {"$timestamp":{"t":1747888877,"i":1}} {"$timestamp":{"i":1,"t":1747888877}}

PostgreSQL 배열을 BigQuery 배열 데이터 유형으로 쿼리

PostgreSQL 배열을 BigQuery ARRAY 데이터 유형으로 쿼리하려면 BigQuery JSON_VALUE_ARRAY 함수를 사용하여 JSON 값을 BigQuery 배열로 변환합니다.

  SELECT
    ARRAY(
      SELECT CAST(element AS TYPE)
      FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME, '$')) AS element
    ) AS array_col

다음을 바꿉니다.

  • TYPE: PostgreSQL 소스 배열의 요소 유형과 일치하는 BigQuery 유형입니다. 예를 들어 소스 유형이 BIGINT 값의 배열인 경우 TYPE를 INT64로 바꿉니다. 데이터 유형을 매핑하는 방법에 대한 자세한 내용은 데이터 유형 매핑을 참고하세요.
  • BQ_COLUMN_NAME: BigQuery 테이블의 관련 열 이름입니다.

값을 변환하는 방법에는 두 가지 예외가 있습니다.

  • 소스 열의 BIT, BIT_VARYING 또는 BYTEA 값 배열의 경우 다음 쿼리를 실행합니다.

    SELECT
  ARRAY(
    SELECT FROM_BASE64(element)
    FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME, '$')) AS element
  ) AS array_of_bytes

  • 소스 열에 있는 JSON 또는 JSONB 값의 배열의 경우 JSON_QUERY_ARRAY 함수를 사용합니다.

    SELECT
  ARRAY(
    SELECT element
    FROM UNNEST(JSON_QUERY_ARRAY(BQ_COLUMN_NAME, '$')) AS element
  ) AS array_of_jsons