O Kafka produz registros para os corretores Kafka configurados nele.
     

Dê uma olhada nos parâmetros de configuração do componente:

  • Account: se o servidor Kafka precisar de autenticação, será necessário criar uma conta tipo BASIC para esse componente. Suportamos também autenticação via Kerberos.

  • Brokers: brokers do servidor (HOST: PORT) usados para o envio de registros. Para informar múltiplos HOSTS, você pode separá-los por vírgula. Exemplo: HOST1:PORT1,HOST2:PORT2,...,HOSTn:PORTn

  • Security Protocols: forma que a conexão é estabelecida. Você pode ou não utilizar um canal de segurança (SSL) e de autenticação (SASL). A utilização de ambos (SASL_SSL) também é possível.

IMPORTANTE: devido a necessidade de uma grande alocação de memória, não suportamos os seguintes tipos de Security Protocol: PLAINTEXT e SASL_PLAINTEXT. Para entender melhor, clique aqui.
      

  • Headers: conjunto de entradas "chave": "valor", contendo cabeçalhos a serem enviados na mensagem (campo opcional).

  • Binary Headers: se a opção estiver ativada, os valores dos cabeçalhos são considerados binários e são interpretados como uma string com a representação base64; do contrário, os valores dos cabeçalhos são interpretados como texto.

  • Headers Charset: nome do código de caracteres para a codificação dos valores dos cabeçalhos (padrão UTF-8).

  • Payload: payload que será enviado.

  • Request Timeout: configuração que controla o tempo máximo (em milissegundos) que o cliente aguarda pela resposta de uma solicitação. Se a resposta não for recebida antes que o tempo limite se esgote, a solicitação é reenviada automaticamente. Do contrário, haverá uma falha se as tentativas se esgotarem.

  • Retries: se for estabelecido um valor diferente de 0 (zero), qualquer registro cujo envio falhar será reenviado. Esses registros podem ser reenviados com um provável erro transitório.

  • Metadata Timeout: tempo máximo para o envio do registro ao Kafka.

  • Fail On Error: se a opção estiver ativada, a execução do pipeline com erro será interrompida; do contrário, a execução do pipeline continua, mas o resultado vai mostrar um valor falso para a propriedade success.

  • Kerberos Service Name: valor definido na propriedade sasl.kerberos.service.name configurado no lado server do broker Kafka.

       

Exemplo de resposta de requisição ao Kafka

{
  "message": "{}",
  "offset": 201,
  "timestamp": 1585168528773,
  "serializedKeySize": -1,
  "serializedValueSize": 2,
  "topic": "Welcome-Kafka",
  "partition": 1,
  "success": verdadeiro
}

     

  • message: mensagem enviada

  • offset: offset do registro no tópico/partição

  • timestamp: horário/data do registro no tópico/partição

  • serializedKeySize: tamanho da chave serializada, com valor descomprimido em bytes. Se o valor é nulo, o tamanho devolvido é -1

  • serializedValueSize: tamanho do valor serializado, com valor descomprimido em bytes. Se o valor é nulo, o tamanho devolvido é -1

  • topic: nome do tópico

  • partition: partição para onde o registro foi enviado

  • success: se "verdadeiro", o envio foi realizado com sucesso

       

Fluxo de Mensagens

Entrada

O componente aceita qualquer mensagem de entrada e pode fazer uso dela através de Double Braces.
       

Saída

O componente não altera nenhuma informação da mensagem de entrada. Portanto, ela é retornada para o componente seguinte ou é utilizada como resposta final se este componente for o último passo do pipeline.
            

Kafka em Ação

Autenticação utilizando SSL ou SASL

Isso permite a autenticação dos seus produtores e clientes ao cluster do Kafka (verificação de identidade). Essa também é uma forma segura de permitir que os seus clientes confirmem a identidade.

Autenticação usando Kerberos

Para utilizar a autenticação via Kerberos no Kafka é necessário ter cadastrado o arquivo de configuração “krb5.conf” no parâmetro de Realm. Caso não tenha feito isso, acione o nosso suporte via chat. Após concluir esse passo, basta configurar corretamente uma conta do tipo Kerberos e utilizá-la no componente.

Encontrou sua resposta?