Referência da linha de comando do Mainframe Connector

Neste documento, descrevemos a sintaxe, os comandos, as sinalizações e os argumentos da ferramenta de linha de comando do Mainframe Connector.

Comandos

agent skill-file

Extrai o arquivo SKILL interno do JAR do Mainframe Connector e cria um arquivo mainframe-connector/SKILL.md no diretório de saída especificado.

Sinopse

agent skill-file [-h] --output-dir=OUTPUTDIR

Sinalizações e argumentos

O comando agent skill-file usa as seguintes sinalizações e argumentos:

--help ou -h

(Opcional) Exibe esta mensagem de ajuda.

--output-dir=OUTPUTDIR : DataPath

Especifique o diretório de saída.

bq export

Descontinuado. Em vez disso, use qsam encode.

Exportar uma tabela do BigQuery.

Sinopse

bq export [options]

Sinalizações e argumentos

Para executar esse comando, é necessário fornecer uma consulta SQL (consulte as flags --sql e query_dsn) e um copybook (consulte a flag cobDsn). É possível executar esse comando no modo local, remoto e independente. Para o modo remoto, consulte as flags --bucket, --remoteHost, --remotePort e --remoteUrl. O comando bq export usa as seguintes flags e argumentos:

--project_id=ID

Especifique o projeto a ser usado para executar esse comando.

--allow_large_results

(Opcional) Use tamanhos grandes de tabela de destino para consultas SQL legadas.

--batch

(Opcional) Execute a consulta no modo em lote.

--bucket=BUCKET

(Opcional) Especifique um local no Cloud Storage para gravar a saída do comando. Se run_mode for gcsoutput, esse parâmetro precisará ser definido como um URI do Cloud Storage no formato gs://example-bucket/example-prefix/example-filename.orc. Caso contrário, os arquivos de saída serão gravados no caminho de destino gs://BUCKET/EXPORT/. Esse argumento é obrigatório para o modo remoto.

--cobDsn=DSN

(Opcional) Especifique o DSN do copybook que você quer usar. Se você não fornecer um valor, o Mainframe Connector vai ler de DD COPYBOOK.

--dataset_id=ID

(Opcional) Especifique o conjunto de dados padrão a ser usado com o comando. É possível definir o valor como [PROJECT_ID]:[DATASET] ou [DATASET]. Se [PROJECT_ID] estiver ausente, o projeto padrão será usado.

--destination_table=TABLE

(Opcional) Especifique a tabela de destino intermediária em que os resultados da consulta serão gravados. Para que isso funcione, --allow_large_results também precisa ser especificado.

--dry_run

(Opcional) Valide a consulta sem executá-la.

--encoding=ENCODING

(Opcional) Especifique o conjunto de caracteres a ser usado para codificar e decodificar campos de caracteres. Quando fornecido, esse valor substitui o padrão definido pela variável de ambiente ENCODING.

--exporter_thread_count=COUNT

(Opcional) Defina o número de linhas de execução do exportador. O valor padrão é 4.

--help ou -h

Mostra esta mensagem de ajuda.

--keepAliveTimeInSeconds=SECONDS

(Opcional) Especifique o tempo limite de keep-alive em segundos para um canal HTTP. O valor padrão é 480 segundos.

--location=LOCATION

(Opcional) Especifique uma região ou um local multirregional para executar o comando. O valor padrão é US.

--max_read_queue=NUMBER

(Opcional) Defina o tamanho máximo da fila de registros do Avro. O valor padrão é o dobro do número de linhas de execução.

--max_read_streams=NUMBER

(Opcional) Defina o número máximo de linhas de execução de streams de leitura. O valor padrão é 4.

--maximum_bytes_billed=BYTES

(Opcional) Limite os bytes faturados para a consulta.

--order_response

(Opcional) Mantenha a resposta ordenada conforme retornada pelo BigQuery.

--outDD=OUTPUT

(Opcional) Grave os registros de saída no conjunto de dados especificado no z/OS. O valor padrão é DD OUTFILE.

--parser_type=TYPE

(Opcional) Defina o analisador de configuração como legacy, copybook ou auto. O valor padrão é auto.

--query_dsn=DSN

(Opcional) Ler uma consulta do conjunto de dados especificado no z/OS. Use o formato HLQ.MEMBER ou HLQ.PDS(MEMBER). Se você não fornecer um valor, o Mainframe Connector vai ler de DD QUERY.

--remoteHost=HOST

(Opcional) Especifique o endereço IP do host remoto. Para executar o Mainframe Connector no modo remoto, defina a flag --bucket.

--remotePort=PORT

(Opcional) Especifique a porta remota. O valor padrão é 51770. Para executar o Mainframe Connector no modo remoto, defina a flag --bucket.

--remoteUrl=URL

(Opcional) Especifique o URL remoto. Para executar o Mainframe Connector no modo remoto, defina a flag --bucket.

--run_mode=MODE

(Opcional) Selecione a implementação de exportação. Você pode usar uma das seguintes opções:

• directstorage: o arquivo binário é salvo localmente (padrão)
• gcsoutput: o arquivo binário é salvo no Cloud Storage.

--sql=SQL

(Opcional) Especifique a consulta SQL do BigQuery a ser executada.

--stats_table=TABLE

(Opcional) Especifique a tabela em que as estatísticas serão inseridas.

--timeOutMinutes=MINUTES

(Opcional) Defina o tempo limite em minutos para a chamada gRPC remota. O valor padrão é 90 minutos.

--transcoding_buffer=BUFFER

(Opcional) Define o tamanho do buffer de transcodificação por linha de execução, em MB. O valor padrão é 20.

--use_cache={true|false}

(Opcional) Para armazenar em cache os resultados da consulta, defina como verdadeiro.

--use_legacy_sql

(Opcional) Use o SQL legado em vez do SQL padrão.

bq load

Carregar dados em uma tabela do BigQuery.

Sinopse

bq load [options] tablespec path

Sinalizações e argumentos

O comando bq load usa as seguintes sinalizações e argumentos:

path

Especifique uma lista separada por vírgulas de URIs de arquivos de origem. O formato aceito é gs://bucket/path. Exemplo: gs://my-bucket/data.orc,gs://my-bucket/more-data.orc.

tablespec

Especifique a tabela de destino para os dados. O formato aceito é [PROJECT]:[DATASET].[TABLE]

--project_id=ID

Especifique o projeto a ser usado para executar esse comando.

--allow_jagged_rows

(Opcional) Permita a falta de colunas opcionais à direita nos dados CSV.

--allow_quoted_newlines

(Opcional) Permitir novas linhas entre aspas nos dados CSV.

--append_table

(Opcional) Anexe os dados carregados aos dados atuais na tabela de destino.

--autodetect

(Opcional) Ative a detecção automática de esquema para dados CSV e JSON.

--clustering_fields=FIELDS

(Opcional) Se especificado, uma lista de colunas separadas por vírgulas é usada para agrupar a tabela de destino em uma consulta. Essa flag precisa ser usada com as flags de particionamento por tempo para criar uma tabela particionada por tempo de processamento ou uma tabela particionada em uma coluna DATE ou TIMESTAMP. Quando especificada, a tabela é particionada e, em seguida, agrupada usando as colunas fornecidas.

--dataset_id=ID

(Opcional) Especifique o conjunto de dados padrão a ser usado com o comando. É possível definir o valor como [PROJECT_ID]:[DATASET] ou [DATASET]. Se [PROJECT_ID] estiver ausente, o projeto padrão será usado.

--debug_mode={true|false}

(Opcional) Defina o nível de geração de registros como depuração.

--destination_kms_key=KEY

(Opcional) A chave do Cloud KMS para criptografia dos dados da tabela de destino.

--encoding ou -E=ENCODING

(Opcional) Especifique o conjunto de caracteres a ser usado para codificar e decodificar campos de caracteres. Quando especificado, esse valor substitui o padrão definido pela variável de ambiente ENCODING.

--field_delimiter ou -F=FIELD

(Opcional) Especifique o delimitador de coluna nos dados CSV. Use \t ou tab para delimitadores de tabulação.

--help ou -h

Mostra esta mensagem de ajuda.

--ignore_unknown_values=VALUES

(Opcional) Ignorar valores extras não reconhecidos em dados CSV ou JSON.

--location=LOCATION

(Opcional) Especifique uma região ou um local multirregional para executar o comando. O valor padrão é US.

--max_bad_records=RECORDS

(Opcional) Defina o número máximo de registros inválidos permitidos antes que o job falhe. No máximo, cinco erros de qualquer tipo são retornados, seja qual for o valor de --max_bad_records. Essa flag aplica-se apenas ao carregamento de dados CSV, JSON e Google Planilhas. O valor padrão é 0.

--max_polling_interval_ms=MILLISECONDS

(Opcional) O tempo máximo de espera para um job do BigQuery.

--null_marker=MARKER

(Opcional) Especifique uma string personalizada que represente um valor NULL nos dados CSV.

--projection_fields=FIELDS

(Opcional) Se você definir --source_format como DATASTORE_BACKUP, essa sinalização vai indicar as propriedades da entidade que serão carregadas de uma exportação do Datastore. Especifique os nomes das propriedades em uma lista separada por vírgulas. Nomes de propriedades diferenciam maiúsculas e minúsculas e precisam se referir às propriedades de nível superior. Também é possível usar essa sinalização com exportações do Firestore.

--quote=QUOTE

(Opcional) Especifique um caractere de aspas para delimitar os campos nos dados CSV. É possível especificar qualquer caractere de um byte como argumento. O valor padrão é uma aspa dupla ("). Para especificar que não há caracteres de aspas, use uma string vazia.

--replace

(Opcional) Substitua os dados atuais na tabela de destino pelos dados carregados.

--require_partition_filter={true|false}

(Opcional) Para ter um filtro de partição para consultas na tabela fornecida, defina como verdadeiro. Esse argumento se aplica apenas a tabelas particionadas e se a flag --time_partitioning_field estiver definida como verdadeira. O valor padrão é falso.

--schema=SCHEMA

(Opcional) Defina o esquema da tabela de destino. Especifique o valor como uma lista separada por vírgulas de definições de coluna no formato [FIELD]:[DATA_TYPE]. Exemplo: name:STRING,age:INTEGER,city:STRING

--schema_update_option=OPTION

(Opcional) Ao anexar dados a uma tabela (em um job de carregamento ou de consulta) ou ao substituir uma partição de tabela, especifique como atualizar o esquema da tabela de destino. Use um dos seguintes valores:

• ALLOW_FIELD_ADDITION: permite que novos campos sejam adicionados.
• ALLOW_FIELD_RELAXATION: permite o relaxamento de campos REQUIRED para NULLABLE.

Repita essa sinalização para especificar várias opções de atualização de esquema.

--skip_leading_rows=NUMBER

(Opcional) Especifique o número de linhas a serem ignoradas no início do arquivo de origem. O valor padrão é 0.

--source_format=FORMAT

(Opcional) Especifique o formato dos dados de origem. É possível usar um dos seguintes valores: CSV, NEWLINE_DELIMITED_JSON, AVRO, DATASTORE_BACKUP (use esse valor para o Filestore), PARQUET, ORC. O valor padrão é ORC.

--stats_table=TABLE

(Opcional) Especifique a tabela em que as estatísticas serão inseridas.

--time_partitioning_expiration=SECONDS

(Opcional) Especifique quando uma partição baseada em tempo precisa ser excluída, em segundos. O prazo de validade é a soma da data UTC da partição com o valor especificado. Se você fornecer um número negativo, a partição baseada em tempo nunca vai expirar.

--time_partitioning_field=FIELD

(Opcional) Especifique o campo usado para determinar como criar uma partição baseada em tempo. Se o particionamento baseado em tempo estiver ativado sem esse valor, a tabela será particionada com base no tempo de carregamento.

--time_partitioning_type=TYPE

(Opcional) Ative o particionamento baseado em tempo em uma tabela e defina o tipo de partição usando o seguinte valor: DAY.

--use_avro_logical_types={true|false}

(Opcional) Se --source_format estiver definido como AVRO, defina essa flag como verdadeira para converter tipos lógicos nos tipos correspondentes (como TIMESTAMP) em vez de usar apenas os tipos brutos (como INTEGER). O valor padrão é falso.

bq mk

Criar recursos do BigQuery, como tabelas integradas ou externas, que precisam de particionamento e clustering. Também é possível usar o comando bq mk para gerar uma tabela do BigQuery diretamente da análise de copybooks COBOL usando a flag --schema_from_copybook.

Sinopse

bq mk [options]

Sinalizações e argumentos

O comando bq mk usa as seguintes sinalizações e argumentos:

--project_id=ID

Especifique o projeto a ser usado para executar esse comando.

--tablespec=TABLE

Especifique a tabela de destino para os dados. O formato aceito é [PROJECT]:[DATASET].[TABLE].

--clustering_fields=FIELDS

(Opcional) Especifique uma lista separada por vírgulas de até quatro nomes de colunas que especifica os campos a serem usados para o clustering de tabelas.

--dataset_id=ID

(Opcional) Especifique o conjunto de dados padrão a ser usado com o comando. É possível definir o valor como [PROJECT_ID]:[DATASET] ou [DATASET]. Se [PROJECT_ID] estiver ausente, o projeto padrão será usado.

--description=DESCRIPTION

(Opcional) Forneça uma descrição para o conjunto de dados ou a tabela.

--dry_run

(Opcional) Imprima a instrução de linguagem de definição de dados (DDL) da tabela.

--encoding=ENCODING

(Opcional) Especifique o conjunto de caracteres a ser usado para codificar e decodificar campos de caracteres. Quando especificado, esse valor substitui o padrão definido pela variável de ambiente ENCODING.

--expiration=EXPIRATION

(Opcional) Especifica a vida útil da tabela. Se você não especificar um valor, o BigQuery vai criar a tabela com a vida útil padrão do conjunto de dados, ou a tabela não vai expirar.

--external_table_definition ou -e=TABLE

(Opcional) Especifique um nome e uma definição de esquema para criar uma tabela externa. Exemplo: ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.

--help ou -h

Mostra esta mensagem de ajuda.

--location=LOCATION

(Opcional) Especifique uma região ou um local multirregional para executar o comando. O valor padrão é US.

--parser_type=TYPE

(Opcional) Defina o analisador de configuração como legacy, copybook ou auto. O valor padrão é auto.

--require_partition_filter={true|false}

(Opcional) Para ter um filtro de partição para consultas na tabela fornecida, defina como verdadeiro. Esse argumento se aplica apenas a tabelas particionadas e se a flag --time_partitioning_field estiver definida como verdadeira. O valor padrão é true.

--schema=SCHEMA

(Opcional) Especifique o caminho para um arquivo de esquema JSON local ou uma lista separada por vírgulas de definições de coluna no formato FIELD:DATA_TYPE, FIELD:DATA_TYPE e assim por diante.

--schema_from_copybook=SCHEMA

(Opcional) Gere o esquema de um copybook.

--table ou -t=TABLE

(Opcional) Crie uma tabela.

--time_partitioning_expiration=SECONDS

(Opcional) Especifique quando uma partição baseada em tempo precisa ser excluída, em segundos. O prazo de validade é a soma da data UTC da partição com o valor especificado. Se você fornecer um número negativo, a partição baseada em tempo nunca vai expirar.

--time_partitioning_field=FIELD

(Opcional) Especifique o campo usado para determinar como criar uma partição baseada em tempo. Se o particionamento baseado em tempo estiver ativado sem esse valor, a tabela será particionada com base no tempo de carregamento.

--view

(Opcional) Crie uma visualização.

bq query

Executar uma consulta do BigQuery.

Sinopse

bq query [options]

Sinalizações e argumentos

É possível executar esse comando nos modos local e remoto. Para o modo remoto, consulte as flags --remoteHost, --remotePort e --remoteUrl e a variável de ambiente BQ_QUERY_REMOTE_EXECUTION. O comando bq query usa as seguintes flags e argumentos:

--project_id=ID

Especifique o projeto a ser usado para executar esse comando.

--allow_large_results

(Opcional) Use tamanhos grandes de tabela de destino para consultas SQL legadas.

--append_table

(Opcional) Anexe os dados carregados aos dados atuais na tabela de destino.

--batch

(Opcional) Execute a consulta no modo em lote.

--clustering_fields=FIELDS

(Opcional) Especifique uma lista separada por vírgulas de até quatro nomes de colunas que especifica os campos a serem usados para o clustering de tabelas. Se você especificar esse valor com particionamento, a tabela será particionada e, em seguida, cada partição será agrupada usando as colunas fornecidas.

--create_if_needed

(Opcional) Crie a tabela de destino se ela não existir.

--dataset_id=ID

(Opcional) Especifique o conjunto de dados padrão a ser usado com o comando. É possível definir o valor como [PROJECT_ID]:[DATASET] ou [DATASET]. Se [PROJECT_ID] estiver ausente, o projeto padrão será usado.

--destination_table=TABLE

(Opcional) Especifique a tabela de destino em que você quer gravar os resultados da consulta.

--dry_run

(Opcional) Valide a consulta sem executá-la.

--follow={true|false}

(Opcional) Para rastrear etapas de consulta individuais ou o script como um todo, defina como verdadeiro. O valor padrão é falso. Essa opção não é compatível com o modo remoto.

--help ou -h

Mostra esta mensagem de ajuda.

--location=LOCATION

(Opcional) Especifique uma região ou um local multirregional para executar o comando. O valor padrão é US.

--maximum_bytes_billed=BYTES

(Opcional) Especifique o limite de bytes faturados para a consulta.

--parameters=PARAMETERS

(Opcional) Especifique os parâmetros de consulta separados por vírgulas no formato [NAME]:[TYPE]:[VALUE]. Um nome vazio gera um parâmetro de posição. É possível omitir [TYPE] para assumir um valor STRING no formato name::value ou ::value. NULL produz um valor nulo.

--query_dsn=DSN

(Opcional) Especifique o DSN de onde a consulta será lida, no formato HLQ.MEMBER ou HLQ.PDS(MEMBER). Se query_dsn não for fornecido, QUERY DD será usado.

--remoteHost=HOST

(Opcional) Especifique o endereço IP do host remoto. Para executar a consulta no modo remoto, defina a variável de ambiente BQ_QUERY_REMOTE_EXECUTION.

--remotePort=PORT

(Opcional) Especifique a porta remota. O valor padrão é 51770. Para executar a consulta no modo remoto, defina a variável de ambiente BQ_QUERY_REMOTE_EXECUTION.

--remoteUrl=URL

(Opcional) Especifique o URL remoto. Para executar a consulta no modo remoto, defina a variável de ambiente BQ_QUERY_REMOTE_EXECUTION.

--replace

(Opcional) Substitua a tabela de destino pelos resultados da consulta.

--report_row_limit=LIMIT

(Opcional) Especifique o número máximo de linhas a serem impressas no relatório de auditoria. O valor padrão é 30. Essa opção não é compatível com o modo remoto.

--require_partition_filter={true|false}

(Opcional) Para ter um filtro de partição para consultas na tabela fornecida, defina como verdadeiro. O valor padrão é true.

--schema_update_option=OPTION

(Opcional) Atualize o esquema da tabela de destino ao anexar dados. Use os valores a seguir:

• ALLOW_FIELD_ADDITION: permite que novos campos sejam adicionados.
• ALLOW_FIELD_RELAXATION: permite relaxar os campos REQUIRED para NULLABLE.

--split_sql={true|false}

(Opcional) Para dividir o script SQL de entrada em consultas individuais, defina como verdadeiro. O valor padrão é true.

--stats_table=TABLE

(Opcional) Especifique a tabela em que as estatísticas serão inseridas. Essa opção não é compatível com o modo remoto.

--sync={true|false}

(Opcional) Execute o comando no modo síncrono.

--synchronous_mode={true|false}

(Opcional) Uma alternativa para --sync.

--timeOutMinutes=MINUTES

(Opcional) Especifique o tempo limite em minutos para uma resposta de job do BigQuery. O valor padrão é 240 minutos.

--time_partitioning_expiration=SECONDS

(Opcional) Especifique quando uma partição baseada em tempo precisa ser excluída, em segundos. O prazo de validade é a soma da data UTC da partição com o valor especificado. Se você fornecer um número negativo, a partição baseada em tempo nunca vai expirar.

--time_partitioning_field=FIELD

(Opcional) Especifique o campo usado para determinar como criar uma partição baseada em tempo. Se o particionamento baseado em tempo estiver ativado sem esse valor, a tabela será particionada com base no tempo de carregamento.

--time_partitioning_type=TYPE

(Opcional) Ative o particionamento baseado em tempo em uma tabela e defina o tipo de partição usando um dos seguintes valores: DAY, HOUR, MONTH, YEAR.

--use_cache={true|false}

(Opcional) Para armazenar em cache os resultados da consulta, defina como verdadeiro. O valor padrão é true.

--use_legacy_sql

(Opcional) Use o SQL legado em vez do SQL padrão.

cloud run job cancel

Cancelar uma execução de job específica.

Sinopse

cloud run job cancel [-h] --project=PROJECT
                            --region=REGION EXECUTION

Sinalizações e argumentos

O comando cloud run job cancel usa as seguintes sinalizações e argumentos:

EXECUTION

Especifique o nome do ID de execução do job do Cloud Run.

--help ou -h

(Opcional) Exibe esta mensagem de ajuda.

--project=PROJECT

Especifique o ID do projeto.

--region=REGION

Especifique a região em que o recurso pode ser encontrado.

cloud run job execute

Executar um job específico.

Sinopse

cloud run job execute [-h] [--async] [--tail-logs] [--wait]
                             [--dump-execution-id=EXECUTION-ID]
                             [--polling-interval=POLLINGINTERVAL]
                             --project=PROJECT
                             --region=REGION
                             [--task-timeout=TIMEOUT]
                             [--args=ARGS]...
                             [--update-env-vars=ENVVARS]...
                             JOB

Sinalizações e argumentos

O comando cloud run job execute usa as seguintes sinalizações e argumentos:

JOB

Especifique o nome do job do Cloud Run a ser executado.

--args=ARGS

(Opcional) Argumentos separados por vírgulas transmitidos para o comando executado pela imagem do contêiner. Se fornecido, uma execução será criada com os valores de entrada.

--async

(Opcional) Especifique essa flag se quiser retornar imediatamente, sem aguardar a conclusão da operação em andamento.

--dump-execution-id=EXECUTION-ID : DataPath

(Opcional) Especifique o arquivo em que o ID de execução será gravado.

--help ou -h

(Opcional) Exibe esta mensagem de ajuda.

--polling-interval=POLLINGINTERVAL

(Opcional) Define o intervalo de sondagem para exibir registros quando --tail_logs está ativado. O valor padrão é 60s.

--project=PROJECT

Especifique o ID do projeto.

--region=REGION

Especifique a região em que o recurso pode ser encontrado.

--tail-logs

(Opcional) Se você executar o comando no modo síncrono especificando a flag --tail_logs, o Mainframe Connector vai mostrar os registros de progresso na tela. Se você especificar as flags --tail_logs e --async, uma mensagem de erro será exibida. Como o Cloud Logging não é compatível com o registro em tempo real, o comando mostra apenas os registros que já foram gravados. Como resultado, alguns registros podem estar ausentes quando você usa a flag --tail_logs. Para ver os registros completos do job, use o comando cloud run job logs depois que o job for concluído.

--task-timeout=TIMEOUT

(Opcional) Mostra o tempo máximo (prazo) que uma tentativa de tarefa de job pode ser executada. Se não for especificado, o padrão do job será usado.

--update-env-vars=ENVVARS

(Opcional) Lista de pares de chave-valor a serem definidos como substituições de variáveis de ambiente para a execução de um job.

--wait

(Opcional) Especifique essa flag se quiser que o comando aguarde até que a execução seja concluída antes de sair.

cloud run job logs

Mostrar registros do Cloud Run

Sinopse

cloud run job logs [-h] [--tail] [--log-filter=FILTER]
                          [--polling-interval=POLLINGINTERVAL]
                          --project=PROJECT
                          --region=REGION
                          [--timeout=TIMEOUT] EXECUTION-ID

Sinalizações e argumentos

O comando cloud run job logs usa as seguintes sinalizações e argumentos:

EXECUTION-ID

O nome do ID de execução do job do Cloud Run.

--help ou -h

(Opcional) Exibe esta mensagem de ajuda.

--log-filter=FILTER

(Opcional) Expressão de filtro que especifica as entradas de registro a serem retornadas.

--polling-interval=POLLINGINTERVAL

(Opcional) Define o intervalo de sondagem para exibir registros quando --tail_logs está ativado. O valor padrão é 60s.

--project=PROJECT

Especifique o ID do projeto.

--region=REGION

Especifique a região em que o recurso pode ser encontrado.

--tail

(Opcional) Mostra apenas os novos registros a partir de agora, quando definido. Se não for definido, todos os registros de jobs serão mostrados.

--timeout=TIMEOUT

(Opcional) Tempo limite, após o qual o comando será encerrado. Se não for definido, o comando vai expirar quando a execução for encerrada.

copy binary

Copie um conjunto de dados binário de um caminho de origem para um caminho de destino.

Sinopse

copy binary [-h] [--buffer-size=BUFFERSIZE] INPUT
                   OUTPUT

Sinalizações e argumentos

O comando copy binary usa as seguintes sinalizações e argumentos:

INPUT : DataPath

Especifique o caminho de dados do arquivo de entrada que você quer copiar.

OUTPUT : DataPath

Especifique o caminho de dados do arquivo de saída para onde você quer copiar.

--buffer-size=BUFFERSIZE : DataSize

(Opcional) Indique o tamanho da leitura de memória para cada bloco de dados. O valor padrão é 64 MiB.

--help ou -h

(Opcional) Mostra esta mensagem de ajuda.

copy text

Copiar conjunto de dados de texto.

Sinopse

copy text [-h] [--trim-suffix] [--buffer-size=BUFFERSIZE]
                 INPUT OUTPUT

Sinalizações e argumentos

Copia um conjunto de dados ou arquivo e o gera como um arquivo de texto delimitado por nova linha. Ao contrário de copy binary, copy text remove as palavras descritoras de registro (RDWs, na sigla em inglês), formata os registros em linhas delimitadas por nova linha e transcodifica os dados usando as codificações configuradas nos URIs DataPath de entrada e saída.

Observação: para preservar a estrutura binária exata byte a byte e os RDWs sem conversão de caracteres, use copy binary.

O comando copy text usa as seguintes sinalizações e argumentos:

INPUT : DataPath

Especifique o caminho de dados do arquivo de entrada que você quer copiar.

OUTPUT : DataPath

Especifique o caminho de dados do arquivo de saída que você quer copiar e codificar.

--buffer-size=BUFFERSIZE : DataSize

(Opcional) Indique o tamanho da leitura de memória para cada bloco de dados. O valor padrão é 64 MiB.

--help ou -h

(Opcional) Exibe esta mensagem de ajuda.

--trim-suffix

(Opcional) Quando definido como verdadeiro, qualquer espaço em branco no final do registro será cortado. Os registros que consistem apenas em espaços em branco se tornarão registros vazios.

gsutil cp

Descontinuado. Em vez disso, use qsam decode.

Transcodifique dados do mainframe para um bucket do Cloud Storage.

Sinopse

gsutil cp [options] gcsUri [dest]

Sinalizações e argumentos

É possível usar esse comando para as seguintes finalidades:

• Copie e transcodifique um arquivo de um ambiente de mainframe ou Linux para o Cloud Storage.
• Origem: --inDSN. Se não for fornecido, será especificado por DD INFILE.
• Destino: gcsUri
• Copiar e transcodificar um arquivo no Cloud Storage
• Origem: gcsUri
• Destino: --destPath
• Copie um arquivo do Cloud Storage para um mainframe.
• Origem: gcsUri
• Destino: --destDSN
• Flags relevantes: --lrecl, --blksize, --recfm, --noseek.
• Copie um arquivo do Cloud Storage para um ambiente do Linux.
• Origem: gcsUri
• Destino: --destPath

Esse comando pode ser executado nos modos local, remoto e independente. Para o modo remoto, consulte as flags --remote, --remoteHost, --remotePort e --remoteUrl. O comando gsutil cp usa as seguintes flags e argumentos:

dest

(Opcional) O caminho local ou o nome da fonte de dados (DSN). Exemplos de formatos: /path/to/file, DATASET.MEMBER

gcsUri

O URI do Cloud Storage no formato gs://bucket/path. Pode representar o local de origem e de destino, dependendo do uso.

--batchSize=SIZE

(Opcional) Especifique os blocos que serão usados por lote. O valor padrão é 1000.

--blksize=SIZE

(Opcional) Especifique o tamanho do bloco do arquivo a ser copiado para o mainframe. Se blksize=0 e recfm não forem U, o sistema de mainframe vai determinar o tamanho de bloco ideal para o arquivo.

--cobDsn=DSN

(Opcional) Especifique o DSN do copybook que você quer usar. Se você não fornecer um valor, o Mainframe Connector vai ler de DD COPYBOOK.

--connections=NUMBER

(Opcional) Especifique o número de conexões que podem ser feitas com o receptor remoto. O valor padrão é 10.

--dataset_id=ID

(Opcional) Especifique o conjunto de dados padrão a ser usado com o comando. É possível definir o valor como [PROJECT_ID]:[DATASET] ou [DATASET]. Se [PROJECT_ID] estiver ausente, o projeto padrão será usado.

--destDSN=OUTPUT

(Opcional) Especifique o DSN de destino.

--destPath=OUTPUT

(Opcional) Especifique o caminho de destino.

--dry_run

(Opcional) Teste a análise e a decodificação do copybook do arquivo QSAM.

--encoding=ENCODING

(Opcional) Especifique o conjunto de caracteres a ser usado para codificar e decodificar campos de caracteres. Quando especificado, esse valor substitui o padrão definido pela variável de ambiente ENCODING.

--help ou -h

Mostra esta mensagem de ajuda.

--inDsn=DSN

(Opcional) Especifique o DSN do arquivo de entrada que você quer usar. Se você não fornecer um valor, o Mainframe Connector vai ler de DD INFILE.

--keepAliveTimeInSeconds=SECONDS

(Opcional) Especifique o tempo limite de keep-alive em segundos para um canal HTTP. O valor padrão é 480 segundos.

--location=LOCATION

(Opcional) Especifique uma região ou um local multirregional para executar o comando. O valor padrão é US.

--lowerCaseColumnNames

(Opcional) Crie nomes de colunas em letras minúsculas para campos de copybook.

--lrecl=LRECL

(Opcional) Especifique o comprimento do registro lógico (lrecl) do arquivo que você quer copiar para o mainframe.

--maxChunkSize=SIZE

(Opcional) Especifique o tamanho máximo de bloco por lote. Use K, KiB, KB, M, MiB, MB, G, GiB, GB, T, TiB ou TB para descrever o tamanho. O valor padrão é 128 MiB.

--max_error_pct=PCT

(Opcional) Especifique o limite de falha do job para erros de decodificação de linha. Os valores válidos estão no intervalo [0,0, 1,0]. O valor padrão é 0.

--noseek

(Opcional) Melhore o desempenho do download do Cloud Storage para o mainframe.

--parallel ou -m

(Opcional) Defina o número de gravadores simultâneos como 4.

--parallelism ou -p=NUMBER

(Opcional) Especifique o número de gravadores simultâneos. O valor padrão é 4.

--parser_type=TYPE

(Opcional) Defina o analisador de configuração como legacy, copybook ou auto. O valor padrão é auto.

--preload_chunk_count=NUMBER

(Opcional) Especifique o número de blocos a serem pré-carregados dos discos enquanto todos os workers estiverem ocupados. O valor padrão é 2.

--project_id=ID

(Opcional) Especifique o projeto a ser usado para executar esse comando.

--recfm=REFCM

(Opcional) Especifique o recfm do arquivo que você quer copiar para o mainframe. Use um dos seguintes valores: F, FB, V, VB, U. O valor padrão é FB.

--remote

(Opcional) Use um decodificador remoto.

--remoteHost=HOST

(Opcional) Especifique o endereço IP do host remoto. Para executar o Mainframe Connector no modo remoto, defina a flag --remote.

--remotePort=PORT

(Opcional) Especifique a porta remota a ser usada. O valor padrão é 51770. Para executar o Mainframe Connector no modo remoto, defina a flag --remote.

--remoteUrl=URL

(Opcional) Especifique o URL remoto. Para executar o Mainframe Connector no modo remoto, defina a flag --remote.

--replace

(Opcional) Exclua o destino de forma recursiva antes de fazer o upload.

--stats_table=TABLE

(Opcional) Especifique a tabela em que as estatísticas serão inseridas.

--tfDSN=DSN

(Opcional) Especifique as transformações de um DSN, DATASET.MEMBER ou PDS(MBR).

--tfGCS=GCS

(Opcional) Especifique o arquivo de transformações do Cloud Storage.

--timeOutMinutes=MINUTES

(Opcional) Especifique o tempo limite em minutos para uma chamada gRPC remota. O valor padrão é de 90 minutos para o Cloud Storage e 50 minutos para um mainframe.

pubsub topics publish

Publicar uma mensagem em um tópico do Pub/Sub.

Esse comando permite enviar dados de mensagens diretamente usando a flag --data ou por um arquivo usando a flag --data-path. Também é possível incluir atributos, uma chave de ordenação e aplicar propriedades de mensagem. Além disso, é possível aplicar substituições de string dinâmicas ao conteúdo da mensagem.

Sinopse

pubsub topics publish [-h] [--data=DATA]
                             [--data-path=DATAPATH]
                             [--ordering-key=ORDERING-KEY]
                             [--attributes=NAME=VALUE[,
                             NAME=VALUE...]]...
                             [--message-property=KEY=VALUE]...
                             [--substitution=KEY=VALUE]...
                             TOPIC

Sinalizações e argumentos

O comando pubsub topics publish usa as seguintes sinalizações e argumentos:

TOPIC

Especifique o nome do tópico no formato projects/{project}/topics/{topic}.

--attributes=NAME=VALUE

(Opcional) Especifique uma lista de atributos separada por vírgulas. Cada ATTRIBUTE tem o formato name=value. É possível especificar até 100 atributos. Para ver uma lista completa de diretrizes de atributos, consulte Usar atributos para publicar uma mensagem.

--data-path=DATAPATH : DataPath

(Opcional) Especifique o caminho para o arquivo que contém os dados da mensagem. É necessário definir uma das flags --data ou --data-path, mas não ambas. Para mais informações sobre formatação de mensagens e limites de tamanho, consulte Publicar mensagens em tópicos.

--data=DATA

(Opcional) Especifique o corpo da mensagem que você quer publicar no nome do tópico fornecido. É necessário definir uma das flags --data ou --data-path, mas não ambas. Para mais informações sobre formatação de mensagens e limites de tamanho, consulte Publicar mensagens em tópicos.

--help ou -h

(Opcional) Exibe esta mensagem de ajuda.

--message-property=KEY=VALUE

(Opcional) Especifique as propriedades a serem aplicadas à mensagem. Uma chave de propriedade válida é encoding. Essa chave de propriedade especifica a codificação de caracteres a ser usada para a string de mensagem. A string da mensagem é convertida em bytes usando essa codificação antes de ser enviada ao tópico do Pub/Sub. Para uma lista de valores de codificação compatíveis, consulte codificações compatíveis. O padrão é UTF-8.

--ordering-key=ORDERING-KEY

(Opcional) Especifique a chave para a entrega ordenada de mensagens aos assinantes. Todas as mensagens com a mesma chave de ordem são enviadas aos assinantes na ordem em que o Pub/Sub as recebe.

--substitution=KEY=VALUE

(Opcional) Usando --data ou --data-path, especifique os pares de chave-valor que serão usados para a substituição dinâmica a ser aplicada aos dados da mensagem do Pub/Sub. O Mainframe Connector verifica os dados da mensagem em busca de marcadores de posição e os substitui pelos valores correspondentes. Defina os marcadores de posição nos dados usando a sintaxe ${KEY}, por exemplo, ${NAME}. Especifique cada substituição como um par de chave-valor usando o formato KEY=VALUE. É possível especificar várias substituições repetindo a opção: --substitution key1=value1 --substitution key2=value2.

Por exemplo, se os dados de entrada forem Hello, ${username}! e você usar --substitution username=World, a mensagem enviada ao Pub/Sub será Hello, World!.

Observação :as substituições são realizadas como substituições de string bruta. Se a string de mensagem for um payload JSON, os caracteres JSON especiais (aspas duplas, barras invertidas ou novas linhas) nos valores de substituição não serão escapados automaticamente. Verifique se os valores de substituição estão devidamente escapados em JSON se você quiser que a mensagem final permaneça como um JSON válido.

qsam decode

Decodificar dados QSAM.

Esse comando decodifica registros de um arquivo QSAM para o formato especificado usando o argumento --output-format. O arquivo QSAM original é dividido em partes com base no valor especificado com o argumento --max-chunk-size. A saída transcodificada é salva no caminho de destino como arquivos classificados lexicograficamente.

Sinopse

qsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE]
                   --copybook=COPYBOOK
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--output-format=FORMAT]
                   [--parallelism=COUNT]
                   [--preload-chunk-count=PRELOAD_CHUNK_COUNT]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Sinalizações e argumentos

O comando qsam decode usa as seguintes sinalizações e argumentos:

INPUT : DataPath

Especifique o caminho de dados do arquivo QSAM que você quer decodificar.

OUTPUT : DataPath

Especifique o caminho de dados do prefixo de saída. Todas as saídas são armazenadas com esse prefixo.

--chunk-size=CHUNK-SIZE : DataSize

(Opcional) Especifique a quantidade de dados de entrada a serem incluídos em cada arquivo de saída. O arquivo de saída pode ser maior ou menor. O tamanho do bloco é arredondado para baixo para o múltiplo mais próximo do comprimento do registro lógico. O valor padrão é 128 MiB.

--copybook=COPYBOOK : DataPath

Especifique o caminho de dados do arquivo que contém o copybook.

--help ou -h

(Opcional) Exibe esta mensagem de ajuda.

--input-parameter=KEY=VALUE

(Opcional) Especifique os parâmetros para configurar a entrada. Cada parâmetro é definido como KEY=VALUE. As chaves de parâmetro de entrada compatíveis são as seguintes:

• csv-dialect: configura a análise de CSV. O valor é um DataPath que aponta para um arquivo de configuração CSV.
• json-dialect: configura a análise JSON. O valor é um DataPath que aponta para o arquivo de configuração JSON.
• pubsub-publish-configuration: configura as mensagens enviadas ao Pub/Sub. O valor é um DataPath que aponta para um arquivo de configuração do Pub/Sub.
• output-prefix: adiciona um prefixo aos arquivos de saída.

--max-error-percent=MAX_ERROR_PERCENT

(Opcional) Especifique a porcentagem de registros processados que podem ter erros antes que o processo de transcodificação falhe. O valor pode variar entre 0,0 (falha se houver erros de transcodificação) e 1,0 (não falha se houver erros de transcodificação). O valor padrão é 0.

--output-format=FORMAT : TranscodeFormat

(Opcional) Especifique o formato do arquivo de saída. Se você fornecer um DataPath de um tópico do Pub/Sub como o valor para OUTPUT, o formato de saída padrão será JSONL. Para todos os outros DataPaths, o formato de saída padrão é ORC.

--parallelism=COUNT

(Opcional) Especifique o número de linhas de execução de processamento. O valor precisa ser igual ou menor que o número de núcleos disponíveis. O valor padrão é 1.

--preload-chunk-count=PRELOAD_CHUNK_COUNT

(Opcional) Especifique o número de blocos de dados a serem pré-carregados quando todas as linhas de execução estiverem em processamento. O valor padrão é 1.

--replace

(Opcional) Se especificado, exclui o caminho de saída de forma recursiva antes de gravar os resultados da decodificação.

--transcode-configuration=CONFIG : DataPath

(Opcional) Especifique o arquivo que contém a configuração de transcodificação. Para mais informações sobre o formato de configuração do transcodificador, consulte Configuração do transcodificador.

qsam encode

Codificar dados QSAM.

Esse comando pega dados de uma fonte externa e os converte em um arquivo QSAM. A entrada é definida pelo valor que você especifica usando o argumento --input-format.

Sinopse

qsam encode [-h] --copybook=COPYBOOK
                   --input-format=FORMAT
                   [--input-stream-count=COUNT]
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--parallelism=COUNT]
                   [--spillover=SPILLOVER]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Sinalizações e argumentos

O comando qsam encode usa as seguintes sinalizações e argumentos:

INPUT : DataPath

Especifique o caminho de dados do arquivo de entrada que você quer codificar em um arquivo QSAM.

OUTPUT : DataPath

Especifique o caminho de dados do arquivo QSAM que você quer codificar.

--copybook=COPYBOOK : DataPath

Especifique o caminho de dados do arquivo que contém o copybook.

--help ou -h

(Opcional) Exibe esta mensagem de ajuda.

--input-format=FORMAT : TranscodeInputFormat

Especifique o formato da entrada.

--input-parameter=KEY=VALUE

(Opcional) Especifique os parâmetros para configurar a entrada. Cada parâmetro é definido como KEY=VALUE. As chaves de parâmetro de entrada compatíveis são as seguintes:

• csv-dialect: configura a análise de CSV. O valor é um DataPath que aponta para um arquivo de configuração CSV.
• json-dialect: configura a análise JSON. O valor é um DataPath que aponta para o arquivo de configuração JSON.
• project-id: ID do projeto do Cloud Storage no caso de ORC.

--input-stream-count=COUNT

(Opcional) Especifique o número de streams de entrada. Esse é um valor máximo. Na realidade, menos streams podem ser usados. O valor padrão é 1.

--max-error-percent=MAX_ERROR_PERCENT

(Opcional) Especifique a porcentagem de registros processados que podem ter erros antes que o processo de transcodificação falhe. O valor pode variar entre 0,0 (falha se houver erros de transcodificação) e 1,0 (não falha se houver erros de transcodificação). O valor padrão é 0.

--parallelism=COUNT

(Opcional) Especifique o número de linhas de execução de processamento. O valor precisa ser igual ou menor que o número de núcleos disponíveis. O valor padrão é 1.

--spillover=SPILLOVER : DataPath

(Opcional) Especifique um caminho de dados para o conjunto de dados de transbordamento. Se você não especificar essas informações, os detalhes do erro serão descartados.

--transcode-configuration=CONFIG : DataPath

(Opcional) Especifique o arquivo que contém a configuração de transcodificação. Para mais informações sobre o formato de configuração do transcodificador, consulte Configuração do transcodificador.

remove

Remover objetos do Cloud Storage.

Sinopse

remove [-hR] URL...

Sinalizações e argumentos

O comando remove usa as seguintes sinalizações e argumentos:

URL

Especifique o local do Cloud Storage no formato gs://bucket/prefix.

--help ou -h

(Opcional) Exibe esta mensagem de ajuda.

-R ou -r

(Opcional) Exclua recursivamente o conteúdo de diretórios ou objetos que correspondem à expressão de caminho. Não gera um erro se o diretório ou objeto não existir.

scp

Descontinuado. Use copy text ou copy binary.

Copie arquivos para o Cloud Storage.

Sinopse

scp [options] [input] [output]

Sinalizações e argumentos

Para usar esse comando, verifique se:

• Defina um valor de entrada exclusivo usando input, --inDD ou --inDsn.
• Defina um valor de saída exclusivo usando output ou --gcsOutUri.

O comando scp usa as seguintes sinalizações e argumentos:

input

(Opcional) Especifique o DD ou DSN a ser copiado. Use --inDD ou --inDsn.

output

(Opcional) Especifique o URI da saída usando o formato gs://[BUCKET]/[PREFIX]. Use --gcsOutUri.

--compress

(Opcional) Compactar a saída com gzip.

--count ou -n=RECORDS

(Opcional) Especifique o número de registros a serem copiados. O padrão é ilimitado.

--encoding=ENCODING

(Opcional) Especifique a codificação de caracteres de entrada. O valor padrão é CP037.

--gcsOutUri=URI

(Opcional) Especifique o URI do Cloud Storage de destino da cópia do arquivo.

--help ou -h

Mostra esta mensagem de ajuda.

--inDD=INPUT

(Opcional) Especifique o arquivo DD a ser copiado. O valor padrão é DD INFILE.

--inDsn=INPUT

(Opcional) Especifique o DSN a ser copiado.

--noConvert

(Opcional) Desative a conversão de entrada de caracteres em ASCII. A conversão de caracteres é ativada por padrão.

systemreport

Fornecer relatório do sistema.

Sinopse

systemreport [-h] [--available-security-providers] [--supported-ciphers]

Sinalizações e argumentos

O comando systemreport usa as seguintes sinalizações e argumentos:

--available-security-providers

(Opcional) Imprima os provedores de segurança compatíveis.

--help ou -h

(Opcional) Exibe esta mensagem de ajuda.

--supported-ciphers

(Opcional) Imprima as criptografias compatíveis.

vsam decode

Decodificar dados do VSAM.

Esse comando decodifica registros de um arquivo VSAM para o formato especificado usando o argumento --output-format. O arquivo VSAM original é dividido em partes com base no valor especificado com o argumento --max-chunk-size. A saída transcodificada é salva no caminho de destino como arquivos classificados lexicograficamente.

Sinopse

vsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE]
                   --copybook=COPYBOOK
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--output-format=FORMAT]
                   [--parallelism=COUNT]
                   [--preload-chunk-count=PRELOAD_CHUNK_COUNT]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Sinalizações e argumentos

O comando vsam decode usa as seguintes sinalizações e argumentos:

INPUT : DataPath

Especifique o caminho de dados do arquivo VSAM que você quer decodificar.

OUTPUT : DataPath

Especifique o caminho de dados do prefixo de saída. Todas as saídas são armazenadas com esse prefixo.

--chunk-size=CHUNK-SIZE : DataSize

(Opcional) Especifique a quantidade de dados de entrada a serem incluídos em cada arquivo de saída. O arquivo de saída pode ser maior ou menor. O tamanho do bloco é arredondado para baixo para o múltiplo mais próximo do comprimento do registro lógico. O valor padrão é 128 MiB.

--copybook=COPYBOOK : DataPath

Especifique o caminho de dados do arquivo que contém o copybook.

--help ou -h

(Opcional) Exibe esta mensagem de ajuda.

--input-parameter=KEY=VALUE

(Opcional) Especifique os parâmetros para configurar a entrada. Cada parâmetro é definido como KEY=VALUE. As chaves de parâmetro de entrada compatíveis são as seguintes:

• csv-dialect: configura a análise de CSV. O valor é um DataPath que aponta para um arquivo de configuração CSV.
• json-dialect: configura a análise JSON. O valor é um DataPath que aponta para o arquivo de configuração JSON.
• pubsub-publish-configuration: configura as mensagens enviadas ao Pub/Sub. O valor é um DataPath que aponta para um arquivo de configuração do Pub/Sub.
• output-prefix: adiciona um prefixo aos arquivos de saída.

--max-error-percent=MAX_ERROR_PERCENT

(Opcional) Especifique a porcentagem de registros processados que podem ter erros antes que o processo de transcodificação falhe. O valor pode variar entre 0,0 (falha se houver erros de transcodificação) e 1,0 (não falha se houver erros de transcodificação). O valor padrão é 0.

--output-format=FORMAT : TranscodeFormat

(Opcional) Especifique o formato do arquivo de saída. Se você fornecer um DataPath de um tópico do Pub/Sub como o valor para OUTPUT, o formato de saída padrão será JSONL. Para todos os outros DataPaths, o formato de saída padrão é ORC.

--parallelism=COUNT

(Opcional) Especifique o número de linhas de execução de processamento. O valor precisa ser igual ou menor que o número de núcleos disponíveis. O valor padrão é 1.

--preload-chunk-count=PRELOAD_CHUNK_COUNT

(Opcional) Especifique o número de blocos de dados a serem pré-carregados quando todas as linhas de execução estiverem em processamento. O valor padrão é 1.

--replace

(Opcional) Se especificado, exclui o caminho de saída de forma recursiva antes de gravar os resultados da decodificação.

--transcode-configuration=CONFIG : DataPath

(Opcional) Especifique o arquivo que contém a configuração de transcodificação. Para mais informações sobre o formato de configuração do transcodificador, consulte Configuração do transcodificador.

Tipos de parâmetros

Esses tipos comuns são usados nos comandos do Mainframe Connector.

DataPath

DataPath é uma string que representa uma entrada ou uma saída. Cada tipo de DataPath tem o próprio prefixo e argumentos, como segue:

• DD:: os caminhos de dados com esse prefixo apontam para uma instrução de definição de dados (DD) ao serem executados em um job de linguagem de controle de jobs (JCL). Para mudar a codificação do DD, adicione encoding=encoding a ele. Por exemplo, DD:DDNAME ou DD:DDNAME?encoding=UTF-8. A codificação DD padrão é a codificação padrão do SO.

• DSN:: os caminhos de dados com esse prefixo apontam para um nome de fonte de dados (DSN) ao serem executados em um mainframe. É possível mudar a codificação do DSN adicionando encoding=charset a ele. Para mudar o modo de gravação do DSN, adicione writemode=OLD/MOD/SHR a ele.

  • MOD:: anexa dados ao final de um arquivo. Se o arquivo não existir, ele será criado. Esse modo permite o acesso de leitura simultâneo (lógica DISP=SHR) por padrão.
  • OLD: Substitui o arquivo desde o início. Esse modo concede controle exclusivo. Nenhum outro job pode acessar o DSN enquanto ele estiver aberto.
  • SHR: Substitui o arquivo desde o início. Esse modo permite acesso simultâneo de leitura e gravação, mas deve ser usado com extrema cautela, porque não oferece serialização.

  Por exemplo, DSN:HQ.FOO.BAR, DSN:HQ.FOO.BAR?encoding=cp037 ou DSN:HQ.FOO.BAR?encoding=cp037&writemode=OLD.

• file:: os caminhos de dados com esse prefixo apontam para um arquivo Unix. É possível especificar o seguinte no arquivo Unix:

  • O comprimento do registro lógico (LRECL, na sigla em inglês) adicionando ?lrecl=lrecl antes de :.
  • O formato de registro (RECFM) adicionando ?recfm=recfm antes de :. O RECFM padrão é F.
  • A codificação adicionando ?encoding=charset antes de :. A codificação padrão é UTF-8.

  Por exemplo, file:/path/to/file, file?lrecl=80:/path/to/file, file?lrecl=80&recfm=FB:/path/to/file ou file?lrecl=80&recfm=FB&encoding=cp037:/path/to/file.

• gs://: os caminhos de dados com esse prefixo apontam para um arquivo no Cloud Storage. É possível especificar o seguinte no arquivo:

  • O LRECL adicionando ?lrecl=lrecl após o prefixo do bucket.
  • O RECFM adicionando ?recfm=recfm após o prefixo do bucket. O RECFM padrão é F.
  • A codificação adicionando ?encoding=charset após o prefixo do bucket. A codificação padrão é UTF-8.
  • Os algoritmos de checksum a serem verificados adicionando ?checksums=algorithms após o prefixo do bucket. Valores compatíveis: md5, crc32c, none, all. O padrão é all.

  • A codificação de conteúdo adicionando ?content-encoding=charset após o prefixo do bucket. Valores aceitos: gzip, identity. O padrão é identity. Observação: isso se aplica exclusivamente às gravações do Cloud Storage. As leituras inferem dinamicamente a codificação de conteúdo dos metadados do blob de armazenamento upstream.

  • O paralelismo pode ser definido adicionando ?parallelism=num após o prefixo do bucket. Quando definido, algumas operações vão usar vários streams do GCS ao transferir dados de e para o GCS.

  Por exemplo, gs://my_bucket/my/file.txt, gs://my_bucket/my/file.txt?encoding=cp037, gs://my_bucket/my/file.txt?recfm=fb&encoding=cp037 ou gs://my_bucket/my/file.txt?lrecl=80&recfm=fb&encoding=cp037.

• pubsub:: os caminhos de dados com esse prefixo apontam para um recurso do Pub/Sub. Por exemplo, pubsub:projects/projectId/topics/topicId.

O Mainframe Connector enquadra cada registro em arquivos do Cloud Storage ou Unix de comprimento variável usando uma palavra descritora de registro (RDW, na sigla em inglês) de 4 bytes. Isso se aplica ao ler ou gravar registros com comandos como copy binary, qsam decode ou qsam encode.

• RECFM=V (formato LLzz):

  • Os dois primeiros bytes representam o tamanho dos dados + 4 bytes.
  • Os dois bytes seguintes são sempre 0x0000.
  • Os bytes restantes constituem os dados reais do registro.

• RECFM=VC (formato zzLL):

  • Os dois primeiros bytes são sempre 0x0000.
  • Os dois bytes seguintes representam o tamanho dos dados.
  • Os bytes restantes constituem os dados reais do registro.

DataSize

DataSize representa um tamanho na forma de uma quantidade e uma unidade de medida, por exemplo, 5 MiB. É possível usar espaços em branco entre o valor e a magnitude. A análise de tamanho de dados não diferencia maiúsculas de minúsculas. Portanto, é possível especificar unidades de medida em maiúsculas e minúsculas.

Observação: não é possível especificar valores parciais. Por exemplo, use 716 KiB em vez de 0,7 MiB.

É possível especificar o valor nos seguintes formatos:

• Formato Java:b/k/m/g/t, para byte, kibibyte, mebibyte, gibibyte e tebibyte, respectivamente.
• Formato internacional:KiB/MiB/GiB/TiB, para kibibyte, mebibyte, gibibyte e tebibyte, respectivamente.
• Formato da métrica:b/kb/mb/gb/tb, para kilobyte, megabyte, gigabyte e terabyte, respectivamente.

TranscodeFormat

TranscodeFormat representa o formato a ser usado durante o processo de transcodificação.

Os valores válidos são:

• ORC: ORC é um formato de arquivo colunar autodescritivo que reconhece tipos.
• CSV: CSV é um formato de texto simples que armazena dados tabulares, em que cada linha representa uma linha. É possível especificar os parâmetros CSV usando o parâmetro de entrada csv-dialect. É possível defini-lo como --input-parameter csv-dialect=DataPath, em que DataPath aponta para o local desses parâmetros.
• JSONL: JSONL é um formato de texto simples que armazena dados tabulares, em que cada linha representa uma linha. É possível especificar os parâmetros JSON usando o parâmetro de entrada json-dialect. É possível defini-lo como --input-parameter json-dialect=DataPath, em que DataPath aponta para o local desses parâmetros.
• AVRO: AVRO é um formato de serialização binária autodescritivo, orientado a linhas e com reconhecimento de tipo.

TranscodeInputFormat

O formato a ser usado durante a transcodificação.

Os valores válidos são:

• BIGQUERY: extrai dados diretamente do BigQuery. INPUT precisa ser um caminho para um arquivo de consulta.

  Os parâmetros de entrada disponíveis são:

  • keep-order: use se a ordem exata dos registros for importante. Isso vai limitar o fluxo de entrada.
  • project-id: ID do projeto a ser usado ao executar o job.
  • location: local a ser usado ao executar o job.

• CSV: CSV é um formato de texto simples que armazena dados tabulares, em que cada linha representa uma linha. É possível especificar os parâmetros CSV usando o parâmetro de entrada csv-dialect. É possível defini-lo como --input-parameter csv-dialect=DataPath, em que DataPath aponta para o local desses parâmetros.

• JSONL: JSONL é um formato de texto simples que armazena dados tabulares, em que cada linha representa uma linha. É possível especificar os parâmetros JSON usando o parâmetro de entrada json-dialect. É possível defini-lo como --input-parameter json-dialect=DataPath, em que DataPath aponta para o local desses parâmetros.

• ORC: ORC é um formato de arquivo colunar autodescritivo que reconhece tipos. Para transcodificar arquivos ORC do Cloud Storage, defina o valor de project-id como o ID do projeto em que o Cloud Storage está presente.

• AVRO: AVRO é um formato de serialização binária autodescritivo, orientado a linhas e com reconhecimento de tipo.