Casa > Q > Quais São Os Prós E Os Contras Do Apache Avro?

Quais são os prós e os contras do Apache Avro?

Veja o vídeo abaixo para entender o Apache Avro em profundidade.

AVRO schema e seu formato de dados explicado aqui.

  1. É independente de plataforma, e pode ser escrito em qualquer linguagem, por exemplo, Python, java, C#, etc. O arquivo Avro usa o esquema para definir seus dados de sublinhado. No entanto, você pode modificar o seu esquema enquanto processa o ficheiro Avro e também pode usar campos adicionais que não existem no ficheiro com valor por defeito. Isso significa que se você tiver dois sistemas separados, por exemplo, um precisa de 5 campos para processar dados AVRO de entrada (que contém 5 campos). Agora outro sistema que precisa de 6 campos para processar o mesmo arquivo AVRO (No entanto, existem apenas 5 campos no arquivo de dados). Assim, ele pode fornecer dinamicamente um 6º campo enquanto processa dados com valor padrão.
  2. Dados comprimidos binários. E o esquema está no formato JSON (notação de objeto java script) que ocupa menos espaço em comparação com as tags XML, quando comprimido. Os arquivos avro são divididos, portanto, podem ser facilmente armazenados no sistema de arquivos hdfs e podem ser processados.
  3. Schema is part of data file, hence while processing it gets schema information about data in file itself. Using Serialization and De-serialization (SerDe). If you dont have schema definition for your avro file, you can extract schema definition from avro file and use it to process data at runtime.

Avro clearly handles following

  1. Missing fields
  2. Newly added fields
  3. Changed fields
  • Old program can read data based on new schema
  • New program can read data based on old schema

In Summary :

  1. Apache avro is a framework, which can allows you to serialize data that has schema built in.
  2. li>Serializa dados em um formato binário compacto, que não requer objetos proxy.>li>li> Em vez de usar bibliotecas de objetos proxy gerados e digitação forte, o Avro se baseia fortemente no esquema que é enviado junto com os dados serializados.
  3. Incluindo o Avro schema com a mensagem, ajuda qualquer aplicação a de-serializar os dados.>li>li>Esquemas de Avro descrevem o formato da mensagem e são definidos usando JSON

De Nodababus

Posso usar meu hotspot do plano Verizon 'Unlimited' (telefone celular) para uso diário e durante todo o dia no trabalho no meu laptop nos EUA? :: Quais são as desvantagens de tomar notas?