Stream DB V1

Conheça o componente e saiba como utilizá-lo.

Erick Rubiales avatar
Escrito por Erick Rubiales
Atualizado há mais de uma semana

IMPORTANTE: esta documentação foi descontinuada. Leia a documentação Stream DB V1 atualizada no nosso novo portal de documentação.

O Stream DB V1 efetua operações através da conexão com um banco de dados, transmitindo dados para um subpipeline que os processa.

Dê uma olhada nos parâmetros de configuração do componente:

  • Account: conta a ser utilizada pelo componente.

  • Database URL: string de conexão ao banco de dados.

  • SQL Statement: instrução SQL a ser executada.

  • Column Name: nome da coluna a ser lida.

  • Coalesce: quando ativada, essa opção controla se os objetos de dados são fundidos em uma sequência ou se um erro é gerado.

  • Parallel Execution Of Each Iteration: ocorre em paralelo com a execução do loop.

  • Fail On Error: a habilitação desse parâmetro suspende a execução do pipeline apenas quando há uma ocorrência grave na estrutura da iteração, impedindo a sua conclusão por completo. A ativação do parâmetro "Fail On Error" não tem ligação com erros ocorridos nos componentes utilizados para a construção dos subpipelines (onProcess e onException).

  • Custom Connection Properties: propriedades de conexão específicas definidas pelo usuário.

  • Keep Connections: se ativada, a opção vai manter as conexões com a base de dados por no máximo 30 minutos; do contrário, será por apenas 5 minutos.

  • Advanced: configurações avançadas.

  • Connection Test Query: instrução SQL a ser utilizada antes que cada conexão seja estabelecida - esse parâmetro é opcional e deve ser aplicado a bancos de dados que não possuem informações confiáveis sobre o status da conexão.

Fluxo de Mensagens

Entrada

O componente espera uma mensagem no seguinte formato:

{
"parameters": {
"name": "value"
...
}
}

Estrutura de mensagem "onProcess"

{
"column1":"data1", "column2":"data2", ...
}

Saída com erro

{
"code": error_code,
"error": error_message,
"processedId": the_id_column_value
}

Saída

{
        "total": 0,
        "success": 0,
        "failed": 0
}
  • total: número total de linhas processadas

  • success: número total de linhas processadas com sucesso

  • failed: número total de linhas cujo processamento falhou

IMPORTANTE: quando as linhas são processadas corretamente, os seus respectivos subpipelines retornam { "success": true } para cada uma delas.

Este componente realiza processamento em lote. Para entender melhor o conceito, clique aqui.

Respondeu à sua pergunta?