Avaliação da eficiência de planos amostrais em big data de registros administrativos
Autor(a) principal: | |
---|---|
Data de Publicação: | 2018 |
Tipo de documento: | Trabalho de conclusão de curso |
Idioma: | por |
Título da fonte: | Repositório Institucional da UFJF |
Texto Completo: | https://repositorio.ufjf.br/jspui/handle/ufjf/12234 |
Resumo: | As novas tecnologias do século XXI propiciaram um grande aumento na produção de dados, o que ocasionou no fenômeno conhecido como Big Data. Surgem bancos de dados cada vez mais complexos e difíceis de serem analisados, que requerem uma nova infraestrutura e capacidade maior de processamento computacional. Uma solução para esse problema seria o uso de técnicas de amostragem probabilística. A proposta deste estudo foi a realização de um estudo de simulação considerando diferentes desenhos amostrais através do software R e com o auxílio de um servidor. Planos amostrais simples e complexos foram comparados quanto ao erro padrão e nível de cobertura, na finalidade de obter estimativas com as melhores propriedades a partir de tamanhos de amostra reduzidos, a fim de possibilitar a análise dos dados também ao usuário de um desktop. Nesse estudo foram considerados dados do CadUnico (Cadastro Único para Programas Sociais do Governo), que possui mais de 20 milhões de registros e distingue-se como a plataforma de acesso ao Bolsa Família. A Amostragem Aleatória Simples destacou-se como o método mais rápido e também o mais preciso inclusive nos menores tamanhos de amostra. |
id |
UFJF_3efac2a1b4e00086489d990ced1038d6 |
---|---|
oai_identifier_str |
oai:hermes.cpd.ufjf.br:ufjf/12234 |
network_acronym_str |
UFJF |
network_name_str |
Repositório Institucional da UFJF |
repository_id_str |
|
spelling |
Vieira, Marcel de Toledohttp://lattes.cnpq.br/1980385021266418Vieira, Marcel de Toledohttp://lattes.cnpq.br/1980385021266418Souza, Augusto Carvalhohttp://lattes.cnpq.br/4948010017164625Freguglia, Ricardo da Silvahttp://lattes.cnpq.br/1290479848909932http://lattes.cnpq.br/2546732169146022Fernandes, Filipe Oliveira2021-01-20T21:53:24Z2021-01-012021-01-20T21:53:24Z2018-12-03https://repositorio.ufjf.br/jspui/handle/ufjf/12234As novas tecnologias do século XXI propiciaram um grande aumento na produção de dados, o que ocasionou no fenômeno conhecido como Big Data. Surgem bancos de dados cada vez mais complexos e difíceis de serem analisados, que requerem uma nova infraestrutura e capacidade maior de processamento computacional. Uma solução para esse problema seria o uso de técnicas de amostragem probabilística. A proposta deste estudo foi a realização de um estudo de simulação considerando diferentes desenhos amostrais através do software R e com o auxílio de um servidor. Planos amostrais simples e complexos foram comparados quanto ao erro padrão e nível de cobertura, na finalidade de obter estimativas com as melhores propriedades a partir de tamanhos de amostra reduzidos, a fim de possibilitar a análise dos dados também ao usuário de um desktop. Nesse estudo foram considerados dados do CadUnico (Cadastro Único para Programas Sociais do Governo), que possui mais de 20 milhões de registros e distingue-se como a plataforma de acesso ao Bolsa Família. A Amostragem Aleatória Simples destacou-se como o método mais rápido e também o mais preciso inclusive nos menores tamanhos de amostra.New technologies of the XXI century provided a great increase in the production of data, which caused the phenomenon known as Big Data. Increasingly complex and difficult- to-analyse databases are emerging that require new infrastructure and increased computational processing power. A solution to this problem would be the use of probabilistic sampling techniques. The purpose of this study was to carry out a simulation study considering different sample designs through the software R and with the assistance of a server. Simple and complex sample designs were compared based on the standard error and coverage level in order to obtain estimates with the best properties from reduced sample sizes in order to allow data analysis also to the user of a desktop. In this study, data from the CadÚnico (Single Register for Social Programs of the Government), which has more than 20 million records and is distinguished as the platform for access to Bolsa Família, were considered. Simple Random Sampling has stood out as the fastest and most accurate method even in the smallest sample sizes.porUniversidade Federal de Juiz de Fora (UFJF)UFJFBrasilICE – Instituto de Ciências Exatashttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessCNPQ::CIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICAamostragemCadÚnicobig dataSamplingCadÚnicoBig DataAvaliação da eficiência de planos amostrais em big data de registros administrativosinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisreponame:Repositório Institucional da UFJFinstname:Universidade Federal de Juiz de Fora (UFJF)instacron:UFJFCC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufjf.br/jspui/bitstream/ufjf/12234/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52ORIGINALfilipeoliveirafernandes.pdffilipeoliveirafernandes.pdfFilipe Oliveira Fernandesapplication/pdf1628175https://repositorio.ufjf.br/jspui/bitstream/ufjf/12234/4/filipeoliveirafernandes.pdffe52c7d6a1e09e81d33d0fdf398fefd5MD54LICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://repositorio.ufjf.br/jspui/bitstream/ufjf/12234/5/license.txt8a4605be74aa9ea9d79846c1fba20a33MD55TEXTfilipeoliveirafernandes.pdf.txtfilipeoliveirafernandes.pdf.txtExtracted texttext/plain65791https://repositorio.ufjf.br/jspui/bitstream/ufjf/12234/6/filipeoliveirafernandes.pdf.txt54d94d5192b09869061a628e933e2ee4MD56THUMBNAILfilipeoliveirafernandes.pdf.jpgfilipeoliveirafernandes.pdf.jpgGenerated Thumbnailimage/jpeg1145https://repositorio.ufjf.br/jspui/bitstream/ufjf/12234/7/filipeoliveirafernandes.pdf.jpg7392052a87e122983198fdbf2a3aff8aMD57ufjf/122342021-01-21 04:07:49.835oai:hermes.cpd.ufjf.br:ufjf/12234Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Repositório InstitucionalPUBhttps://repositorio.ufjf.br/oai/requestopendoar:2021-01-21T06:07:49Repositório Institucional da UFJF - Universidade Federal de Juiz de Fora (UFJF)false |
dc.title.pt_BR.fl_str_mv |
Avaliação da eficiência de planos amostrais em big data de registros administrativos |
title |
Avaliação da eficiência de planos amostrais em big data de registros administrativos |
spellingShingle |
Avaliação da eficiência de planos amostrais em big data de registros administrativos Fernandes, Filipe Oliveira CNPQ::CIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICA amostragem CadÚnico big data Sampling CadÚnico Big Data |
title_short |
Avaliação da eficiência de planos amostrais em big data de registros administrativos |
title_full |
Avaliação da eficiência de planos amostrais em big data de registros administrativos |
title_fullStr |
Avaliação da eficiência de planos amostrais em big data de registros administrativos |
title_full_unstemmed |
Avaliação da eficiência de planos amostrais em big data de registros administrativos |
title_sort |
Avaliação da eficiência de planos amostrais em big data de registros administrativos |
author |
Fernandes, Filipe Oliveira |
author_facet |
Fernandes, Filipe Oliveira |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Vieira, Marcel de Toledo |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/1980385021266418 |
dc.contributor.referee1.fl_str_mv |
Vieira, Marcel de Toledo |
dc.contributor.referee1Lattes.fl_str_mv |
http://lattes.cnpq.br/1980385021266418 |
dc.contributor.referee2.fl_str_mv |
Souza, Augusto Carvalho |
dc.contributor.referee2Lattes.fl_str_mv |
http://lattes.cnpq.br/4948010017164625 |
dc.contributor.referee3.fl_str_mv |
Freguglia, Ricardo da Silva |
dc.contributor.referee3Lattes.fl_str_mv |
http://lattes.cnpq.br/1290479848909932 |
dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/2546732169146022 |
dc.contributor.author.fl_str_mv |
Fernandes, Filipe Oliveira |
contributor_str_mv |
Vieira, Marcel de Toledo Vieira, Marcel de Toledo Souza, Augusto Carvalho Freguglia, Ricardo da Silva |
dc.subject.cnpq.fl_str_mv |
CNPQ::CIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICA |
topic |
CNPQ::CIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICA amostragem CadÚnico big data Sampling CadÚnico Big Data |
dc.subject.por.fl_str_mv |
amostragem CadÚnico big data Sampling CadÚnico Big Data |
description |
As novas tecnologias do século XXI propiciaram um grande aumento na produção de dados, o que ocasionou no fenômeno conhecido como Big Data. Surgem bancos de dados cada vez mais complexos e difíceis de serem analisados, que requerem uma nova infraestrutura e capacidade maior de processamento computacional. Uma solução para esse problema seria o uso de técnicas de amostragem probabilística. A proposta deste estudo foi a realização de um estudo de simulação considerando diferentes desenhos amostrais através do software R e com o auxílio de um servidor. Planos amostrais simples e complexos foram comparados quanto ao erro padrão e nível de cobertura, na finalidade de obter estimativas com as melhores propriedades a partir de tamanhos de amostra reduzidos, a fim de possibilitar a análise dos dados também ao usuário de um desktop. Nesse estudo foram considerados dados do CadUnico (Cadastro Único para Programas Sociais do Governo), que possui mais de 20 milhões de registros e distingue-se como a plataforma de acesso ao Bolsa Família. A Amostragem Aleatória Simples destacou-se como o método mais rápido e também o mais preciso inclusive nos menores tamanhos de amostra. |
publishDate |
2018 |
dc.date.issued.fl_str_mv |
2018-12-03 |
dc.date.accessioned.fl_str_mv |
2021-01-20T21:53:24Z |
dc.date.available.fl_str_mv |
2021-01-01 2021-01-20T21:53:24Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://repositorio.ufjf.br/jspui/handle/ufjf/12234 |
url |
https://repositorio.ufjf.br/jspui/handle/ufjf/12234 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Federal de Juiz de Fora (UFJF) |
dc.publisher.initials.fl_str_mv |
UFJF |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
ICE – Instituto de Ciências Exatas |
publisher.none.fl_str_mv |
Universidade Federal de Juiz de Fora (UFJF) |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFJF instname:Universidade Federal de Juiz de Fora (UFJF) instacron:UFJF |
instname_str |
Universidade Federal de Juiz de Fora (UFJF) |
instacron_str |
UFJF |
institution |
UFJF |
reponame_str |
Repositório Institucional da UFJF |
collection |
Repositório Institucional da UFJF |
bitstream.url.fl_str_mv |
https://repositorio.ufjf.br/jspui/bitstream/ufjf/12234/2/license_rdf https://repositorio.ufjf.br/jspui/bitstream/ufjf/12234/4/filipeoliveirafernandes.pdf https://repositorio.ufjf.br/jspui/bitstream/ufjf/12234/5/license.txt https://repositorio.ufjf.br/jspui/bitstream/ufjf/12234/6/filipeoliveirafernandes.pdf.txt https://repositorio.ufjf.br/jspui/bitstream/ufjf/12234/7/filipeoliveirafernandes.pdf.jpg |
bitstream.checksum.fl_str_mv |
e39d27027a6cc9cb039ad269a5db8e34 fe52c7d6a1e09e81d33d0fdf398fefd5 8a4605be74aa9ea9d79846c1fba20a33 54d94d5192b09869061a628e933e2ee4 7392052a87e122983198fdbf2a3aff8a |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UFJF - Universidade Federal de Juiz de Fora (UFJF) |
repository.mail.fl_str_mv |
|
_version_ |
1813193988516085760 |