Arquitetura escalável de streaming de dados de API utilizando apache Kafka

• Autor(a) principal: Oliveira, Isaac Gomes de
• Data de Publicação: 2023
• Tipo de documento: Trabalho de conclusão de curso
• Idioma: por
• Título da fonte: Repositório Institucional da UFRN
• Texto Completo: https://repositorio.ufrn.br/handle/123456789/53384
• topic: Streaming de dados; Apache Kafka; APIs; Tempo real; Data streaming; Real-Time

O streaming de dados se tornou patente diante do contexto de Big Data. A necessidade de lidar com a informação cada vez mais próxima ao tempo em que ela é produzida passou a ser elementar em diversos cenários diante das percepções que isso oferece. As ferramentas de implementação de streaming foram aperfeiçoadas e popularizadas nos últimos anos e o Apache Kafka se destaca entre elas por abranger garantias necessárias para a transmissão de informações num ambiente resiliente. Lidar com a ferramenta e dimensioná-la para as aplicações modernas é o ponto de partida para disponibilização de dados em tempo real. Somado a isso, tendo em vista a quantidade de informações disponibilizadas via Application Program Interface (API) atualmente, torna-se pertinente ter soluções que realizem a captura dessas informações e o streaming delas para usos diversos. O presente trabalho auxilia essa demanda através da exploração dos recursos do Kafka, construindo uma arquitetura resiliente e escalável que pode ser facilmente replicada por estar contêinerizada. A construção também explora a linguagem Go para desenvolvimento de serviços que buscam e tratam dados de APIs. Ao final do trabalho, realizam-se as validações de disponibilidade, durabilidade e tolerância à falhas da solução, expondo as circuntâncias às quais esse tipo de arquitetura pode vivenciar, bem como da escalabilidade fornecida por ela, que mostra-se suficiente para atender à demanda de processamento da API utilizada. Conclui-se com a apresentação de uma aplicação de exemplo que consome os dados em tempo real, demonstrando a utilização da solução e seu efeito prático no cenário de streaming de dados.