Intelligent Document Validation Using Computer Vision and Natural Language Processing

Detalhes bibliográficos
Autor(a) principal: Castilho, João Filipe Mendes
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10316/92530
Resumo: Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
id RCAP_e1242665521bd51bc40c7e2cc2b72dae
oai_identifier_str oai:estudogeral.uc.pt:10316/92530
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Intelligent Document Validation Using Computer Vision and Natural Language ProcessingIntelligent Document Validation Using Computer Vision and Natural Language ProcessingAprendizagem ComputacionalVisão ComputacionalProcessamento de Linguagem NaturalProcessamento de ImagensAprendizagem ProfundaMachine LearningComputer VisionNatural Language ProcessingImage ProcessingDeep LearningDissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e TecnologiaNos últimos anos, produz-se cada vez mais informação que necessita de estar facilmente disponível e acessível. Esta necessidade levou a uma crescente digitalização da informação de forma a satisfazer as exigências dos utilizadores. Este processo pode ser realizado atravésde trabalho manual, ou através de scanning de ficheiros. A primeira opção fornece melhores resultados, visto que a informação passa a ser "editável", no entanto, é um processo moroso, repetitivo e suscetível a falhas. A segunda opção é bastante mais rápida, no entanto,a informação acaba por estar em formato de imagem, o que torna difícil a sua gestão e organização. Mesmo que nesta segunda abordagem se utilize uma ferramenta de Reconhecimento de Caracteres Óptico (RCO), a informação não fica estruturada, o que torna bastante ´complexo o processo de pesquisa e organização.A CRITICAL Software (CSW) está a desenvolver uma plataforma de análise de documentos, que oferece inúmeros serviços, onde se destacam o serviço de classificação de documentos e o serviço de extração e análise de informação. O estágio realizado na empresa CSW, com a duração de um ano letivo, foca-se no serviço de extração e análise da informação de documentos. Tem como principal objetivo implementar uma prova de conceito de um algoritmo de extração e análise de informação de documentos na plataforma da CSW, o Intelligent Document Validation (IDV). O estágio desenvolvou-se em três etapas. Na primeira etapa, foram explorados artigos de investigação de algoritmos do estado da arte da análise de informação de documentos e foram selecionados os algoritmos CloudScan, CUTIE, Chargrid e BERTGrid. Na segunda etapa, foram implementados os algoritmos selecionados na etapa anterior e respetivas variantes num total de 9 algoritmos. Na terceira etapa, foi realizada a análise de optimização e comparação do desempenho dos algoritmos implementados. Estes algoritmos foram testados num conjunto de dados composto por 1210 faturas e, concluiu-se que o algoritmo com melhor desempenho resulta de uma variante que combina os algoritmos do Chargrid com BERTgrid, cujo desempenho geral foi de 85.89% com a métrica F1-Score. Como prova de conceito, esta versão foi implementada com sucesso na plataforma IDV da CSW.In recent years, more and more information has been produced that needs to be easily available and accessible. This need has led to an increasing digitization of information in order to meet the demands of users. This process can be carried out through manual work, or by scanning files. The first option provides better results, since the information becomes "editable", however, it is a time-consuming, repetitive process and it’s susceptible to failures. The second option is much faster, however, the information turns out to be in image format, which makes its management and organization difficult. Even if this second approach uses an Optical Character Recognition (OCR) tool, the information is not structured, which makes the research and organization process quite complex.CRITICAL Software (CSW) is developing a document analysis platform, which offers numerous services, including the document classification service and the information extraction and analysis service.The internship carried out at the CSW company, with the duration of an academic year, focuses on the extraction and analysis of information from documents. Its main objective is to implement a proof of concept of an algorithm for extracting and analyzing information from documents on the CSW platform, Intelligent Document Validation (IDV). The internship took place in three stages. In the first stage, research articles on state-of-the-art algorithms for document information analysis were explored and CloudScan, CUTIE,Chargrid and BERTgrid algorithms were selected. In the second stage, the algorithms selected in the previous step and respective variants were implemented in a total of 9 algorithms. In the third stage, an optimization analysis and performance comparison of the implemented algorithms was performed. These algorithms were tested on a data set composed of 1210 invoices and it was concluded that the algorithm with the best performance results from a variant that combines the Chargrid and BERTgrid algorithms, whose overall performance was 85.89% with the F1-Score metric . As a proof of concept, this version was successfully implemented on CSW’s IDV platform.2020-07-06info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/92530http://hdl.handle.net/10316/92530TID:202521087porCastilho, João Filipe Mendesinfo:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2022-05-25T05:53:40Zoai:estudogeral.uc.pt:10316/92530Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:11:36.367892Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Intelligent Document Validation Using Computer Vision and Natural Language Processing
Intelligent Document Validation Using Computer Vision and Natural Language Processing
title Intelligent Document Validation Using Computer Vision and Natural Language Processing
spellingShingle Intelligent Document Validation Using Computer Vision and Natural Language Processing
Castilho, João Filipe Mendes
Aprendizagem Computacional
Visão Computacional
Processamento de Linguagem Natural
Processamento de Imagens
Aprendizagem Profunda
Machine Learning
Computer Vision
Natural Language Processing
Image Processing
Deep Learning
title_short Intelligent Document Validation Using Computer Vision and Natural Language Processing
title_full Intelligent Document Validation Using Computer Vision and Natural Language Processing
title_fullStr Intelligent Document Validation Using Computer Vision and Natural Language Processing
title_full_unstemmed Intelligent Document Validation Using Computer Vision and Natural Language Processing
title_sort Intelligent Document Validation Using Computer Vision and Natural Language Processing
author Castilho, João Filipe Mendes
author_facet Castilho, João Filipe Mendes
author_role author
dc.contributor.author.fl_str_mv Castilho, João Filipe Mendes
dc.subject.por.fl_str_mv Aprendizagem Computacional
Visão Computacional
Processamento de Linguagem Natural
Processamento de Imagens
Aprendizagem Profunda
Machine Learning
Computer Vision
Natural Language Processing
Image Processing
Deep Learning
topic Aprendizagem Computacional
Visão Computacional
Processamento de Linguagem Natural
Processamento de Imagens
Aprendizagem Profunda
Machine Learning
Computer Vision
Natural Language Processing
Image Processing
Deep Learning
description Dissertação de Mestrado em Engenharia Informática apresentada à Faculdade de Ciências e Tecnologia
publishDate 2020
dc.date.none.fl_str_mv 2020-07-06
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10316/92530
http://hdl.handle.net/10316/92530
TID:202521087
url http://hdl.handle.net/10316/92530
identifier_str_mv TID:202521087
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799134012659204096

Registros relacionados