Uma abordagem para captura automatizada de dados abertos governamentais
Autor(a) principal: | |
---|---|
Data de Publicação: | 2017 |
Tipo de documento: | Dissertação |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFSCAR |
Texto Completo: | https://repositorio.ufscar.br/handle/ufscar/9246 |
Resumo: | Currently open government data run an important job on regards to public transparency, besides being obligated by law. But most of this data are stored in non-standard ways, isolated and independent, making it very hard for its use by third party systems providers. This work proposes the creation of an approach for capturing this open government data in an automated way, allowing its use in various applications. For that a Web Crawler was built for the capture and storing of this open government data, as well as an API for making this data available in JSON format, that way developers can easily use this data on their application. We also performed an evaluation of the API for developers with different levels of experience. |
id |
SCAR_1a5d1eacb8c33286e1e1a4f783054b75 |
---|---|
oai_identifier_str |
oai:repositorio.ufscar.br:ufscar/9246 |
network_acronym_str |
SCAR |
network_name_str |
Repositório Institucional da UFSCAR |
repository_id_str |
4322 |
spelling |
Ferreira, Juliana SabinoAlvaro, Alexandrehttp://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4735082P8http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K8781696J0c9ac9594-80b9-4ae7-b425-4c5e873fce1c2018-01-09T11:16:12Z2018-01-09T11:16:12Z2017-11-07FERREIRA, Juliana Sabino. Uma abordagem para captura automatizada de dados abertos governamentais. 2017. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, Sorocaba, 2017. Disponível em: https://repositorio.ufscar.br/handle/ufscar/9246.https://repositorio.ufscar.br/handle/ufscar/9246Currently open government data run an important job on regards to public transparency, besides being obligated by law. But most of this data are stored in non-standard ways, isolated and independent, making it very hard for its use by third party systems providers. This work proposes the creation of an approach for capturing this open government data in an automated way, allowing its use in various applications. For that a Web Crawler was built for the capture and storing of this open government data, as well as an API for making this data available in JSON format, that way developers can easily use this data on their application. We also performed an evaluation of the API for developers with different levels of experience.Atualmente os dados abertos governamentais exercem um papel fundamental na transparência pública na gestão dos governos, além de ser uma obrigação legal. Porém grande parte desses dados são publicados em formatos diversos, isolados e independentes, dificultado seu reaproveitamento por sistemas de terceiros que poderiam reusar informações disponibilizadas em tais portais. Este trabalho propõe a criação de uma abordagem para captura de dados abertos governamentais de forma automatizada, permitindo sua reutilização em outras aplicações. Para isso foi construído um Web Crawler para captura e armazenamento de Dados Abertos Governamentais (DAG) e a API DAG Prefeituras para disponibilizar esses dados no formato JSON para que outros desenvolvedores possam utilizar esses dados em suas aplicações. Também foi realizada uma avaliação do uso da API para desenvolvedores com diferentes níveis de experiênciaNão recebi financiamentoporUniversidade Federal de São CarlosCâmpus SorocabaPrograma de Pós-Graduação em Ciência da Computação - PPGCC-SoUFSCarDados Abertos GovernamentaisCidades InteligentesServiços de informação e EstadoComunicação na administração públicaInternet na administração públicaWeb CrawlerInformation services - Government policyCommunication in public administrationInternet in public administrationCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAOUma abordagem para captura automatizada de dados abertos governamentaisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisOnline600600d6cd0af3-e2a6-452e-9557-8c11a47b1a1binfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFSCARinstname:Universidade Federal de São Carlos (UFSCAR)instacron:UFSCARORIGINALDissertação 2.1- avaliação da proposta+conclusao+final- REVISADA.pdfDissertação 2.1- avaliação da proposta+conclusao+final- REVISADA.pdfapplication/pdf5906746https://repositorio.ufscar.br/bitstream/ufscar/9246/1/Dissertac%cc%a7a%cc%83o%202.1-%20avaliac%cc%a7a%cc%83o%20da%20proposta%2bconclusao%2bfinal-%20REVISADA.pdf0e38cac22651d3e8fc9d0919fc9e0159MD51Termo de encaminhamento da versão definitiva.pdfTermo de encaminhamento da versão definitiva.pdfapplication/pdf214426https://repositorio.ufscar.br/bitstream/ufscar/9246/3/Termo%20de%20encaminhamento%20da%20versa%cc%83o%20definitiva.pdf41e6d886f9d6683d460f0de7d83c35d3MD53LICENSElicense.txtlicense.txttext/plain; charset=utf-81957https://repositorio.ufscar.br/bitstream/ufscar/9246/4/license.txtae0398b6f8b235e40ad82cba6c50031dMD54TEXTDissertação 2.1- avaliação da proposta+conclusao+final- REVISADA.pdf.txtDissertação 2.1- avaliação da proposta+conclusao+final- REVISADA.pdf.txtExtracted texttext/plain150946https://repositorio.ufscar.br/bitstream/ufscar/9246/5/Dissertac%cc%a7a%cc%83o%202.1-%20avaliac%cc%a7a%cc%83o%20da%20proposta%2bconclusao%2bfinal-%20REVISADA.pdf.txt4a5df0bed4c27ad6cdbaa01a0dacdbd4MD55Termo de encaminhamento da versão definitiva.pdf.txtTermo de encaminhamento da versão definitiva.pdf.txtExtracted texttext/plain1368https://repositorio.ufscar.br/bitstream/ufscar/9246/6/Termo%20de%20encaminhamento%20da%20versa%cc%83o%20definitiva.pdf.txtc935185784522ec4555ac0a2f7f6137bMD56THUMBNAILDissertação 2.1- avaliação da proposta+conclusao+final- REVISADA.pdf.jpgDissertação 2.1- avaliação da proposta+conclusao+final- REVISADA.pdf.jpgIM Thumbnailimage/jpeg5688https://repositorio.ufscar.br/bitstream/ufscar/9246/7/Dissertac%cc%a7a%cc%83o%202.1-%20avaliac%cc%a7a%cc%83o%20da%20proposta%2bconclusao%2bfinal-%20REVISADA.pdf.jpg4f8ef419dec0c9d2be2384fe2e8174a6MD57Termo de encaminhamento da versão definitiva.pdf.jpgTermo de encaminhamento da versão definitiva.pdf.jpgIM Thumbnailimage/jpeg14908https://repositorio.ufscar.br/bitstream/ufscar/9246/8/Termo%20de%20encaminhamento%20da%20versa%cc%83o%20definitiva.pdf.jpgcf7aa48f3c63429c05654ca11737f64cMD58ufscar/92462023-09-18 18:31:41.082oai:repositorio.ufscar.br:ufscar/9246TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkNvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvciAoZXMpIG91IG8gdGl0dWxhciBkb3MgZGlyZWl0b3MgZGUgYXV0b3IpIGNvbmNlZGUgw6AgVW5pdmVyc2lkYWRlCkZlZGVyYWwgZGUgU8OjbyBDYXJsb3MgbyBkaXJlaXRvIG7Do28tZXhjbHVzaXZvIGRlIHJlcHJvZHV6aXIsICB0cmFkdXppciAoY29uZm9ybWUgZGVmaW5pZG8gYWJhaXhvKSwgZS9vdQpkaXN0cmlidWlyIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyAoaW5jbHVpbmRvIG8gcmVzdW1vKSBwb3IgdG9kbyBvIG11bmRvIG5vIGZvcm1hdG8gaW1wcmVzc28gZSBlbGV0csO0bmljbyBlCmVtIHF1YWxxdWVyIG1laW8sIGluY2x1aW5kbyBvcyBmb3JtYXRvcyDDoXVkaW8gb3UgdsOtZGVvLgoKVm9jw6ogY29uY29yZGEgcXVlIGEgVUZTQ2FyIHBvZGUsIHNlbSBhbHRlcmFyIG8gY29udGXDumRvLCB0cmFuc3BvciBhIHN1YSB0ZXNlIG91IGRpc3NlcnRhw6fDo28KcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBhIFVGU0NhciBwb2RlIG1hbnRlciBtYWlzIGRlIHVtYSBjw7NwaWEgYSBzdWEgdGVzZSBvdQpkaXNzZXJ0YcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIGUgcHJlc2VydmHDp8Ojby4KClZvY8OqIGRlY2xhcmEgcXVlIGEgc3VhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyDDqSBvcmlnaW5hbCBlIHF1ZSB2b2PDqiB0ZW0gbyBwb2RlciBkZSBjb25jZWRlciBvcyBkaXJlaXRvcyBjb250aWRvcwpuZXN0YSBsaWNlbsOnYS4gVm9jw6ogdGFtYsOpbSBkZWNsYXJhIHF1ZSBvIGRlcMOzc2l0byBkYSBzdWEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvIG7Do28sIHF1ZSBzZWphIGRlIHNldQpjb25oZWNpbWVudG8sIGluZnJpbmdlIGRpcmVpdG9zIGF1dG9yYWlzIGRlIG5pbmd1w6ltLgoKQ2FzbyBhIHN1YSB0ZXNlIG91IGRpc3NlcnRhw6fDo28gY29udGVuaGEgbWF0ZXJpYWwgcXVlIHZvY8OqIG7Do28gcG9zc3VpIGEgdGl0dWxhcmlkYWRlIGRvcyBkaXJlaXRvcyBhdXRvcmFpcywgdm9jw6oKZGVjbGFyYSBxdWUgb2J0ZXZlIGEgcGVybWlzc8OjbyBpcnJlc3RyaXRhIGRvIGRldGVudG9yIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBwYXJhIGNvbmNlZGVyIMOgIFVGU0NhcgpvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUKaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvIGRhIHRlc2Ugb3UgZGlzc2VydGHDp8OjbyBvcmEgZGVwb3NpdGFkYS4KCkNBU08gQSBURVNFIE9VIERJU1NFUlRBw4fDg08gT1JBIERFUE9TSVRBREEgVEVOSEEgU0lETyBSRVNVTFRBRE8gREUgVU0gUEFUUk9Dw41OSU8gT1UKQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PIFFVRSBOw4NPIFNFSkEgQSBVRlNDYXIsClZPQ8OKIERFQ0xBUkEgUVVFIFJFU1BFSVRPVSBUT0RPUyBFIFFVQUlTUVVFUiBESVJFSVRPUyBERSBSRVZJU8ODTyBDT01PClRBTULDiU0gQVMgREVNQUlTIE9CUklHQcOHw5VFUyBFWElHSURBUyBQT1IgQ09OVFJBVE8gT1UgQUNPUkRPLgoKQSBVRlNDYXIgc2UgY29tcHJvbWV0ZSBhIGlkZW50aWZpY2FyIGNsYXJhbWVudGUgbyBzZXUgbm9tZSAocykgb3UgbyhzKSBub21lKHMpIGRvKHMpCmRldGVudG9yKGVzKSBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGEgdGVzZSBvdSBkaXNzZXJ0YcOnw6NvLCBlIG7Do28gZmFyw6EgcXVhbHF1ZXIgYWx0ZXJhw6fDo28sIGFsw6ltIGRhcXVlbGFzCmNvbmNlZGlkYXMgcG9yIGVzdGEgbGljZW7Dp2EuCg==Repositório InstitucionalPUBhttps://repositorio.ufscar.br/oai/requestopendoar:43222023-09-18T18:31:41Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR)false |
dc.title.por.fl_str_mv |
Uma abordagem para captura automatizada de dados abertos governamentais |
title |
Uma abordagem para captura automatizada de dados abertos governamentais |
spellingShingle |
Uma abordagem para captura automatizada de dados abertos governamentais Ferreira, Juliana Sabino Dados Abertos Governamentais Cidades Inteligentes Serviços de informação e Estado Comunicação na administração pública Internet na administração pública Web Crawler Information services - Government policy Communication in public administration Internet in public administration CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO |
title_short |
Uma abordagem para captura automatizada de dados abertos governamentais |
title_full |
Uma abordagem para captura automatizada de dados abertos governamentais |
title_fullStr |
Uma abordagem para captura automatizada de dados abertos governamentais |
title_full_unstemmed |
Uma abordagem para captura automatizada de dados abertos governamentais |
title_sort |
Uma abordagem para captura automatizada de dados abertos governamentais |
author |
Ferreira, Juliana Sabino |
author_facet |
Ferreira, Juliana Sabino |
author_role |
author |
dc.contributor.authorlattes.por.fl_str_mv |
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K8781696J0 |
dc.contributor.author.fl_str_mv |
Ferreira, Juliana Sabino |
dc.contributor.advisor1.fl_str_mv |
Alvaro, Alexandre |
dc.contributor.advisor1Lattes.fl_str_mv |
http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4735082P8 |
dc.contributor.authorID.fl_str_mv |
c9ac9594-80b9-4ae7-b425-4c5e873fce1c |
contributor_str_mv |
Alvaro, Alexandre |
dc.subject.por.fl_str_mv |
Dados Abertos Governamentais Cidades Inteligentes Serviços de informação e Estado Comunicação na administração pública Internet na administração pública |
topic |
Dados Abertos Governamentais Cidades Inteligentes Serviços de informação e Estado Comunicação na administração pública Internet na administração pública Web Crawler Information services - Government policy Communication in public administration Internet in public administration CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO |
dc.subject.eng.fl_str_mv |
Web Crawler Information services - Government policy Communication in public administration Internet in public administration |
dc.subject.cnpq.fl_str_mv |
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO |
description |
Currently open government data run an important job on regards to public transparency, besides being obligated by law. But most of this data are stored in non-standard ways, isolated and independent, making it very hard for its use by third party systems providers. This work proposes the creation of an approach for capturing this open government data in an automated way, allowing its use in various applications. For that a Web Crawler was built for the capture and storing of this open government data, as well as an API for making this data available in JSON format, that way developers can easily use this data on their application. We also performed an evaluation of the API for developers with different levels of experience. |
publishDate |
2017 |
dc.date.issued.fl_str_mv |
2017-11-07 |
dc.date.accessioned.fl_str_mv |
2018-01-09T11:16:12Z |
dc.date.available.fl_str_mv |
2018-01-09T11:16:12Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
FERREIRA, Juliana Sabino. Uma abordagem para captura automatizada de dados abertos governamentais. 2017. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, Sorocaba, 2017. Disponível em: https://repositorio.ufscar.br/handle/ufscar/9246. |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufscar.br/handle/ufscar/9246 |
identifier_str_mv |
FERREIRA, Juliana Sabino. Uma abordagem para captura automatizada de dados abertos governamentais. 2017. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de São Carlos, Sorocaba, 2017. Disponível em: https://repositorio.ufscar.br/handle/ufscar/9246. |
url |
https://repositorio.ufscar.br/handle/ufscar/9246 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.relation.confidence.fl_str_mv |
600 600 |
dc.relation.authority.fl_str_mv |
d6cd0af3-e2a6-452e-9557-8c11a47b1a1b |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de São Carlos Câmpus Sorocaba |
dc.publisher.program.fl_str_mv |
Programa de Pós-Graduação em Ciência da Computação - PPGCC-So |
dc.publisher.initials.fl_str_mv |
UFSCar |
publisher.none.fl_str_mv |
Universidade Federal de São Carlos Câmpus Sorocaba |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFSCAR instname:Universidade Federal de São Carlos (UFSCAR) instacron:UFSCAR |
instname_str |
Universidade Federal de São Carlos (UFSCAR) |
instacron_str |
UFSCAR |
institution |
UFSCAR |
reponame_str |
Repositório Institucional da UFSCAR |
collection |
Repositório Institucional da UFSCAR |
bitstream.url.fl_str_mv |
https://repositorio.ufscar.br/bitstream/ufscar/9246/1/Dissertac%cc%a7a%cc%83o%202.1-%20avaliac%cc%a7a%cc%83o%20da%20proposta%2bconclusao%2bfinal-%20REVISADA.pdf https://repositorio.ufscar.br/bitstream/ufscar/9246/3/Termo%20de%20encaminhamento%20da%20versa%cc%83o%20definitiva.pdf https://repositorio.ufscar.br/bitstream/ufscar/9246/4/license.txt https://repositorio.ufscar.br/bitstream/ufscar/9246/5/Dissertac%cc%a7a%cc%83o%202.1-%20avaliac%cc%a7a%cc%83o%20da%20proposta%2bconclusao%2bfinal-%20REVISADA.pdf.txt https://repositorio.ufscar.br/bitstream/ufscar/9246/6/Termo%20de%20encaminhamento%20da%20versa%cc%83o%20definitiva.pdf.txt https://repositorio.ufscar.br/bitstream/ufscar/9246/7/Dissertac%cc%a7a%cc%83o%202.1-%20avaliac%cc%a7a%cc%83o%20da%20proposta%2bconclusao%2bfinal-%20REVISADA.pdf.jpg https://repositorio.ufscar.br/bitstream/ufscar/9246/8/Termo%20de%20encaminhamento%20da%20versa%cc%83o%20definitiva.pdf.jpg |
bitstream.checksum.fl_str_mv |
0e38cac22651d3e8fc9d0919fc9e0159 41e6d886f9d6683d460f0de7d83c35d3 ae0398b6f8b235e40ad82cba6c50031d 4a5df0bed4c27ad6cdbaa01a0dacdbd4 c935185784522ec4555ac0a2f7f6137b 4f8ef419dec0c9d2be2384fe2e8174a6 cf7aa48f3c63429c05654ca11737f64c |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR) |
repository.mail.fl_str_mv |
|
_version_ |
1802136334101381120 |