Uma abordagem para captura automatizada de dados abertos governamentais

Detalhes bibliográficos
Autor(a) principal: Ferreira, Juliana Sabino
Data de Publicação: 2017
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFSCAR
Texto Completo: https://repositorio.ufscar.br/handle/ufscar/9246
Resumo: Currently open government data run an important job on regards to public transparency, besides being obligated by law. But most of this data are stored in non-standard ways, isolated and independent, making it very hard for its use by third party systems providers. This work proposes the creation of an approach for capturing this open government data in an automated way, allowing its use in various applications. For that a Web Crawler was built for the capture and storing of this open government data, as well as an API for making this data available in JSON format, that way developers can easily use this data on their application. We also performed an evaluation of the API for developers with different levels of experience.
id SCAR_1a5d1eacb8c33286e1e1a4f783054b75
oai_identifier_str oai:repositorio.ufscar.br:ufscar/9246
network_acronym_str SCAR
network_name_str Repositório Institucional da UFSCAR
repository_id_str 4322
spelling Ferreira, Juliana SabinoAlvaro, Alexandrehttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4735082P8http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K8781696J0c9ac9594-80b9-4ae7-b425-4c5e873fce1c2018-01-09T11:16:12Z2018-01-09T11:16:12Z2017-11-07FERREIRA, Juliana Sabino. Uma abordagem para captura automatizada de dados abertos governamentais. 2017. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, Sorocaba, 2017. Disponível em: https://repositorio.ufscar.br/handle/ufscar/9246.https://repositorio.ufscar.br/handle/ufscar/9246Currently open government data run an important job on regards to public transparency, besides being obligated by law. But most of this data are stored in non-standard ways, isolated and independent, making it very hard for its use by third party systems providers. This work proposes the creation of an approach for capturing this open government data in an automated way, allowing its use in various applications. For that a Web Crawler was built for the capture and storing of this open government data, as well as an API for making this data available in JSON format, that way developers can easily use this data on their application. We also performed an evaluation of the API for developers with different levels of experience.Atualmente os dados abertos governamentais exercem um papel fundamental na transparência pública na gestão dos governos, além de ser uma obrigação legal. Porém grande parte desses dados são publicados em formatos diversos, isolados e independentes, dificultado seu reaproveitamento por sistemas de terceiros que poderiam reusar informações disponibilizadas em tais portais. Este trabalho propõe a criação de uma abordagem para captura de dados abertos governamentais de forma automatizada, permitindo sua reutilização em outras aplicações. Para isso foi construído um Web Crawler para captura e armazenamento de Dados Abertos Governamentais (DAG) e a API DAG Prefeituras para disponibilizar esses dados no formato JSON para que outros desenvolvedores possam utilizar esses dados em suas aplicações. Também foi realizada uma avaliação do uso da API para desenvolvedores com diferentes níveis de experiênciaNão recebi financiamentoporUniversidade Federal de São CarlosCâmpus SorocabaPrograma de Pós-Graduação em Ciência da Computação - PPGCC-SoUFSCarDados Abertos GovernamentaisCidades InteligentesServiços de informação e EstadoComunicação na administração públicaInternet na administração públicaWeb CrawlerInformation services - Government policyCommunication in public administrationInternet in public administrationCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAOUma abordagem para captura automatizada de dados abertos governamentaisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisOnline600600d6cd0af3-e2a6-452e-9557-8c11a47b1a1binfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFSCARinstname:Universidade Federal de São Carlos (UFSCAR)instacron:UFSCARORIGINALDissertação 2.1- avaliação da proposta+conclusao+final- REVISADA.pdfDissertação 2.1- avaliação da proposta+conclusao+final- REVISADA.pdfapplication/pdf5906746https://repositorio.ufscar.br/bitstream/ufscar/9246/1/Dissertac%cc%a7a%cc%83o%202.1-%20avaliac%cc%a7a%cc%83o%20da%20proposta%2bconclusao%2bfinal-%20REVISADA.pdf0e38cac22651d3e8fc9d0919fc9e0159MD51Termo de encaminhamento da versão definitiva.pdfTermo de encaminhamento da versão definitiva.pdfapplication/pdf214426https://repositorio.ufscar.br/bitstream/ufscar/9246/3/Termo%20de%20encaminhamento%20da%20versa%cc%83o%20definitiva.pdf41e6d886f9d6683d460f0de7d83c35d3MD53LICENSElicense.txtlicense.txttext/plain; charset=utf-81957https://repositorio.ufscar.br/bitstream/ufscar/9246/4/license.txtae0398b6f8b235e40ad82cba6c50031dMD54TEXTDissertação 2.1- avaliação da proposta+conclusao+final- REVISADA.pdf.txtDissertação 2.1- avaliação da proposta+conclusao+final- REVISADA.pdf.txtExtracted texttext/plain150946https://repositorio.ufscar.br/bitstream/ufscar/9246/5/Dissertac%cc%a7a%cc%83o%202.1-%20avaliac%cc%a7a%cc%83o%20da%20proposta%2bconclusao%2bfinal-%20REVISADA.pdf.txt4a5df0bed4c27ad6cdbaa01a0dacdbd4MD55Termo de encaminhamento da versão definitiva.pdf.txtTermo de encaminhamento da versão definitiva.pdf.txtExtracted texttext/plain1368https://repositorio.ufscar.br/bitstream/ufscar/9246/6/Termo%20de%20encaminhamento%20da%20versa%cc%83o%20definitiva.pdf.txtc935185784522ec4555ac0a2f7f6137bMD56THUMBNAILDissertação 2.1- avaliação da proposta+conclusao+final- REVISADA.pdf.jpgDissertação 2.1- avaliação da proposta+conclusao+final- REVISADA.pdf.jpgIM Thumbnailimage/jpeg5688https://repositorio.ufscar.br/bitstream/ufscar/9246/7/Dissertac%cc%a7a%cc%83o%202.1-%20avaliac%cc%a7a%cc%83o%20da%20proposta%2bconclusao%2bfinal-%20REVISADA.pdf.jpg4f8ef419dec0c9d2be2384fe2e8174a6MD57Termo de encaminhamento da versão definitiva.pdf.jpgTermo de encaminhamento da versão definitiva.pdf.jpgIM Thumbnailimage/jpeg14908https://repositorio.ufscar.br/bitstream/ufscar/9246/8/Termo%20de%20encaminhamento%20da%20versa%cc%83o%20definitiva.pdf.jpgcf7aa48f3c63429c05654ca11737f64cMD58ufscar/92462023-09-18 18:31:41.082oai:repositorio.ufscar.br:ufscar/9246TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkNvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvciAoZXMpIG91IG8gdGl0dWxhciBkb3MgZGlyZWl0b3MgZGUgYXV0b3IpIGNvbmNlZGUgw6AgVW5pdmVyc2lkYWRlCkZlZGVyYWwgZGUgU8OjbyBDYXJsb3MgbyBkaXJlaXRvIG7Do28tZXhjbHVzaXZvIGRlIHJlcHJvZHV6aXIsICB0cmFkdXppciAoY29uZm9ybWUgZGVmaW5pZG8gYWJhaXhvKSwgZS9vdQpkaXN0cmlidWlyIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyAoaW5jbHVpbmRvIG8gcmVzdW1vKSBwb3IgdG9kbyBvIG11bmRvIG5vIGZvcm1hdG8gaW1wcmVzc28gZSBlbGV0csO0bmljbyBlCmVtIHF1YWxxdWVyIG1laW8sIGluY2x1aW5kbyBvcyBmb3JtYXRvcyDDoXVkaW8gb3UgdsOtZGVvLgoKVm9jw6ogY29uY29yZGEgcXVlIGEgVUZTQ2FyIHBvZGUsIHNlbSBhbHRlcmFyIG8gY29udGXDumRvLCB0cmFuc3BvciBhIHN1YSB0ZXNlIG91IGRpc3NlcnRhw6fDo28KcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBhIFVGU0NhciBwb2RlIG1hbnRlciBtYWlzIGRlIHVtYSBjw7NwaWEgYSBzdWEgdGVzZSBvdQpkaXNzZXJ0YcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcwpuZXN0YSBsaWNlbsOnYS4gVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0byBkYSBzdWEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIG7Do28sIHF1ZSBzZWphIGRlIHNldQpjb25oZWNpbWVudG8sIGluZnJpbmdlIGRpcmVpdG9zIGF1dG9yYWlzIGRlIG5pbmd1w6ltLgoKQ2FzbyBhIHN1YSB0ZXNlIG91IGRpc3NlcnRhw6fDo28gY29udGVuaGEgbWF0ZXJpYWwgcXVlIHZvY8OqIG7Do28gcG9zc3VpIGEgdGl0dWxhcmlkYWRlIGRvcyBkaXJlaXRvcyBhdXRvcmFpcywgdm9jw6oKZGVjbGFyYSBxdWUgb2J0ZXZlIGEgcGVybWlzc8OjbyBpcnJlc3RyaXRhIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBwYXJhIGNvbmNlZGVyIMOgIFVGU0NhcgpvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUKaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvIGRhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBvcmEgZGVwb3NpdGFkYS4KCkNBU08gQSBURVNFIE9VIERJU1NFUlRBw4fDg08gT1JBIERFUE9TSVRBREEgVEVOSEEgU0lETyBSRVNVTFRBRE8gREUgVU0gUEFUUk9Dw41OSU8gT1UKQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PIFFVRSBOw4NPIFNFSkEgQSBVRlNDYXIsClZPQ8OKIERFQ0xBUkEgUVVFIFJFU1BFSVRPVSBUT0RPUyBFIFFVQUlTUVVFUiBESVJFSVRPUyBERSBSRVZJU8ODTyBDT01PClRBTULDiU0gQVMgREVNQUlTIE9CUklHQcOHw5VFUyBFWElHSURBUyBQT1IgQ09OVFJBVE8gT1UgQUNPUkRPLgoKQSBVRlNDYXIgc2UgY29tcHJvbWV0ZSBhIGlkZW50aWZpY2FyIGNsYXJhbWVudGUgbyBzZXUgbm9tZSAocykgb3UgbyhzKSBub21lKHMpIGRvKHMpCmRldGVudG9yKGVzKSBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzCmNvbmNlZGlkYXMgcG9yIGVzdGEgbGljZW7Dp2EuCg==Repositório InstitucionalPUBhttps://repositorio.ufscar.br/oai/requestopendoar:43222023-09-18T18:31:41Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR)false
dc.title.por.fl_str_mv Uma abordagem para captura automatizada de dados abertos governamentais
title Uma abordagem para captura automatizada de dados abertos governamentais
spellingShingle Uma abordagem para captura automatizada de dados abertos governamentais
Ferreira, Juliana Sabino
Dados Abertos Governamentais
Cidades Inteligentes
Serviços de informação e Estado
Comunicação na administração pública
Internet na administração pública
Web Crawler
Information services - Government policy
Communication in public administration
Internet in public administration
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO
title_short Uma abordagem para captura automatizada de dados abertos governamentais
title_full Uma abordagem para captura automatizada de dados abertos governamentais
title_fullStr Uma abordagem para captura automatizada de dados abertos governamentais
title_full_unstemmed Uma abordagem para captura automatizada de dados abertos governamentais
title_sort Uma abordagem para captura automatizada de dados abertos governamentais
author Ferreira, Juliana Sabino
author_facet Ferreira, Juliana Sabino
author_role author
dc.contributor.authorlattes.por.fl_str_mv http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K8781696J0
dc.contributor.author.fl_str_mv Ferreira, Juliana Sabino
dc.contributor.advisor1.fl_str_mv Alvaro, Alexandre
dc.contributor.advisor1Lattes.fl_str_mv http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4735082P8
dc.contributor.authorID.fl_str_mv c9ac9594-80b9-4ae7-b425-4c5e873fce1c
contributor_str_mv Alvaro, Alexandre
dc.subject.por.fl_str_mv Dados Abertos Governamentais
Cidades Inteligentes
Serviços de informação e Estado
Comunicação na administração pública
Internet na administração pública
topic Dados Abertos Governamentais
Cidades Inteligentes
Serviços de informação e Estado
Comunicação na administração pública
Internet na administração pública
Web Crawler
Information services - Government policy
Communication in public administration
Internet in public administration
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO
dc.subject.eng.fl_str_mv Web Crawler
Information services - Government policy
Communication in public administration
Internet in public administration
dc.subject.cnpq.fl_str_mv CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO
description Currently open government data run an important job on regards to public transparency, besides being obligated by law. But most of this data are stored in non-standard ways, isolated and independent, making it very hard for its use by third party systems providers. This work proposes the creation of an approach for capturing this open government data in an automated way, allowing its use in various applications. For that a Web Crawler was built for the capture and storing of this open government data, as well as an API for making this data available in JSON format, that way developers can easily use this data on their application. We also performed an evaluation of the API for developers with different levels of experience.
publishDate 2017
dc.date.issued.fl_str_mv 2017-11-07
dc.date.accessioned.fl_str_mv 2018-01-09T11:16:12Z
dc.date.available.fl_str_mv 2018-01-09T11:16:12Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv FERREIRA, Juliana Sabino. Uma abordagem para captura automatizada de dados abertos governamentais. 2017. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, Sorocaba, 2017. Disponível em: https://repositorio.ufscar.br/handle/ufscar/9246.
dc.identifier.uri.fl_str_mv https://repositorio.ufscar.br/handle/ufscar/9246
identifier_str_mv FERREIRA, Juliana Sabino. Uma abordagem para captura automatizada de dados abertos governamentais. 2017. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, Sorocaba, 2017. Disponível em: https://repositorio.ufscar.br/handle/ufscar/9246.
url https://repositorio.ufscar.br/handle/ufscar/9246
dc.language.iso.fl_str_mv por
language por
dc.relation.confidence.fl_str_mv 600
600
dc.relation.authority.fl_str_mv d6cd0af3-e2a6-452e-9557-8c11a47b1a1b
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de São Carlos
Câmpus Sorocaba
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Ciência da Computação - PPGCC-So
dc.publisher.initials.fl_str_mv UFSCar
publisher.none.fl_str_mv Universidade Federal de São Carlos
Câmpus Sorocaba
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSCAR
instname:Universidade Federal de São Carlos (UFSCAR)
instacron:UFSCAR
instname_str Universidade Federal de São Carlos (UFSCAR)
instacron_str UFSCAR
institution UFSCAR
reponame_str Repositório Institucional da UFSCAR
collection Repositório Institucional da UFSCAR
bitstream.url.fl_str_mv https://repositorio.ufscar.br/bitstream/ufscar/9246/1/Dissertac%cc%a7a%cc%83o%202.1-%20avaliac%cc%a7a%cc%83o%20da%20proposta%2bconclusao%2bfinal-%20REVISADA.pdf
https://repositorio.ufscar.br/bitstream/ufscar/9246/3/Termo%20de%20encaminhamento%20da%20versa%cc%83o%20definitiva.pdf
https://repositorio.ufscar.br/bitstream/ufscar/9246/4/license.txt
https://repositorio.ufscar.br/bitstream/ufscar/9246/5/Dissertac%cc%a7a%cc%83o%202.1-%20avaliac%cc%a7a%cc%83o%20da%20proposta%2bconclusao%2bfinal-%20REVISADA.pdf.txt
https://repositorio.ufscar.br/bitstream/ufscar/9246/6/Termo%20de%20encaminhamento%20da%20versa%cc%83o%20definitiva.pdf.txt
https://repositorio.ufscar.br/bitstream/ufscar/9246/7/Dissertac%cc%a7a%cc%83o%202.1-%20avaliac%cc%a7a%cc%83o%20da%20proposta%2bconclusao%2bfinal-%20REVISADA.pdf.jpg
https://repositorio.ufscar.br/bitstream/ufscar/9246/8/Termo%20de%20encaminhamento%20da%20versa%cc%83o%20definitiva.pdf.jpg
bitstream.checksum.fl_str_mv 0e38cac22651d3e8fc9d0919fc9e0159
41e6d886f9d6683d460f0de7d83c35d3
ae0398b6f8b235e40ad82cba6c50031d
4a5df0bed4c27ad6cdbaa01a0dacdbd4
c935185784522ec4555ac0a2f7f6137b
4f8ef419dec0c9d2be2384fe2e8174a6
cf7aa48f3c63429c05654ca11737f64c
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR)
repository.mail.fl_str_mv
_version_ 1802136334101381120