Análises de convergência e consistência de métricas de ranqueamento

Detalhes bibliográficos
Autor(a) principal: Chaves, Victor Villas Bôas
Data de Publicação: 2020
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional do FGV (FGV Repositório Digital)
Texto Completo: https://hdl.handle.net/10438/29863
Resumo: Cada vez mais interagimos com sistemas de buscas e esses sistemas contam com uma base crescente de documentos para filtrar e ordenar. Para avaliar a qualidade desses sistemas, diversas métricas de ranqueamento estão disponíveis com características específicas que devem encaixar no cenário de recuperação de informação. Com o advento de novas técnicas como uso de aprendizado de máquina em ranqueamento, também se espera algumas características numéricas das métricas que as tornem bons objetivos de otimização. Algumas destas métricas mais usadas como o NDCG@k possuem propriedades numéricas particulares que exigem atenção, especialmente ao analisar resultados de experimentos isolados. Neste trabalho demonstramos o comportamento assintótico desta e algumas variantes de métricas de ranqueamento mais utilizadas e apresentamos uma variante do NDCG que experimentalmente preserva suas características positivas enquanto mitiga características indesejadas.
id FGV_d0f5944cab945b40678bb82219d05732
oai_identifier_str oai:repositorio.fgv.br:10438/29863
network_acronym_str FGV
network_name_str Repositório Institucional do FGV (FGV Repositório Digital)
repository_id_str 3974
spelling Chaves, Victor Villas BôasEscolas::EMApSaporito, Yuri FahhamHolanda, Nicolaus Linneu deCoelho, Flávio Codeço2020-11-24T16:54:20Z2020-11-24T16:54:20Z2020-08-21https://hdl.handle.net/10438/29863Cada vez mais interagimos com sistemas de buscas e esses sistemas contam com uma base crescente de documentos para filtrar e ordenar. Para avaliar a qualidade desses sistemas, diversas métricas de ranqueamento estão disponíveis com características específicas que devem encaixar no cenário de recuperação de informação. Com o advento de novas técnicas como uso de aprendizado de máquina em ranqueamento, também se espera algumas características numéricas das métricas que as tornem bons objetivos de otimização. Algumas destas métricas mais usadas como o NDCG@k possuem propriedades numéricas particulares que exigem atenção, especialmente ao analisar resultados de experimentos isolados. Neste trabalho demonstramos o comportamento assintótico desta e algumas variantes de métricas de ranqueamento mais utilizadas e apresentamos uma variante do NDCG que experimentalmente preserva suas características positivas enquanto mitiga características indesejadas.porRecuperação da informaçãoRanqueamentoAprendizado de ranqueamentoMétricas de ranqueamentoMatemáticaSistemas de recuperação da informaçãoAprendizado do computadorAnálise matemáticaAnálises de convergência e consistência de métricas de ranqueamentoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesis2020-08-21reponame:Repositório Institucional do FGV (FGV Repositório Digital)instname:Fundação Getulio Vargas (FGV)instacron:FGVinfo:eu-repo/semantics/openAccessLICENSElicense.txtlicense.txttext/plain; charset=utf-84707https://repositorio.fgv.br/bitstreams/44e2de42-a143-4210-b00e-36c80876f58b/downloaddfb340242cced38a6cca06c627998fa1MD52ORIGINALcombinepdf.pdfcombinepdf.pdfDissertaçãoapplication/pdf1482752https://repositorio.fgv.br/bitstreams/3d8b4f18-6040-4b70-ac1c-4bcc1f96da2d/download2db6311cda1c478d017bceddcfa4b1b8MD53TEXTcombinepdf.pdf.txtcombinepdf.pdf.txtExtracted texttext/plain49254https://repositorio.fgv.br/bitstreams/87c41816-5489-44bc-b822-a5ae84be4081/downloada6fabf86876d5b67733d3ebb3817e73fMD56THUMBNAILcombinepdf.pdf.jpgcombinepdf.pdf.jpgGenerated Thumbnailimage/jpeg2499https://repositorio.fgv.br/bitstreams/77ba0c91-7e71-4b43-b6fa-d0be55bd750b/download13cabdcbdc25a044c0ba891d8563dd6bMD5710438/298632023-11-25 14:00:27.873open.accessoai:repositorio.fgv.br:10438/29863https://repositorio.fgv.brRepositório InstitucionalPRIhttp://bibliotecadigital.fgv.br/dspace-oai/requestopendoar:39742023-11-25T14:00:27Repositório Institucional do FGV (FGV Repositório Digital) - Fundação Getulio Vargas (FGV)falseVEVSTU9TIExJQ0VOQ0lBTUVOVE8gUEFSQSBBUlFVSVZBTUVOVE8sIFJFUFJPRFXDh8ODTyBFIERJVlVMR0HDh8ODTwpQw5pCTElDQSBERSBDT05URcOaRE8gw4AgQklCTElPVEVDQSBWSVJUVUFMIEZHViAodmVyc8OjbyAxLjIpCgoxLiBWb2PDqiwgdXN1w6FyaW8tZGVwb3NpdGFudGUgZGEgQmlibGlvdGVjYSBWaXJ0dWFsIEZHViwgYXNzZWd1cmEsIG5vCnByZXNlbnRlIGF0bywgcXVlIMOpIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhdHJpbW9uaWFpcyBlL291CmRpcmVpdG9zIGNvbmV4b3MgcmVmZXJlbnRlcyDDoCB0b3RhbGlkYWRlIGRhIE9icmEgb3JhIGRlcG9zaXRhZGEgZW0KZm9ybWF0byBkaWdpdGFsLCBiZW0gY29tbyBkZSBzZXVzIGNvbXBvbmVudGVzIG1lbm9yZXMsIGVtIHNlIHRyYXRhbmRvCmRlIG9icmEgY29sZXRpdmEsIGNvbmZvcm1lIG8gcHJlY2VpdHVhZG8gcGVsYSBMZWkgOS42MTAvOTggZS9vdSBMZWkKOS42MDkvOTguIE7Do28gc2VuZG8gZXN0ZSBvIGNhc28sIHZvY8OqIGFzc2VndXJhIHRlciBvYnRpZG8sIGRpcmV0YW1lbnRlCmRvcyBkZXZpZG9zIHRpdHVsYXJlcywgYXV0b3JpemHDp8OjbyBwcsOpdmlhIGUgZXhwcmVzc2EgcGFyYSBvIGRlcMOzc2l0byBlCmRpdnVsZ2HDp8OjbyBkYSBPYnJhLCBhYnJhbmdlbmRvIHRvZG9zIG9zIGRpcmVpdG9zIGF1dG9yYWlzIGUgY29uZXhvcwphZmV0YWRvcyBwZWxhIGFzc2luYXR1cmEgZG9zIHByZXNlbnRlcyB0ZXJtb3MgZGUgbGljZW5jaWFtZW50bywgZGUKbW9kbyBhIGVmZXRpdmFtZW50ZSBpc2VudGFyIGEgRnVuZGHDp8OjbyBHZXR1bGlvIFZhcmdhcyBlIHNldXMKZnVuY2lvbsOhcmlvcyBkZSBxdWFscXVlciByZXNwb25zYWJpbGlkYWRlIHBlbG8gdXNvIG7Do28tYXV0b3JpemFkbyBkbwptYXRlcmlhbCBkZXBvc2l0YWRvLCBzZWphIGVtIHZpbmN1bGHDp8OjbyDDoCBCaWJsaW90ZWNhIFZpcnR1YWwgRkdWLCBzZWphCmVtIHZpbmN1bGHDp8OjbyBhIHF1YWlzcXVlciBzZXJ2acOnb3MgZGUgYnVzY2EgZSBkaXN0cmlidWnDp8OjbyBkZSBjb250ZcO6ZG8KcXVlIGZhw6dhbSB1c28gZGFzIGludGVyZmFjZXMgZSBlc3Bhw6dvIGRlIGFybWF6ZW5hbWVudG8gcHJvdmlkZW5jaWFkb3MKcGVsYSBGdW5kYcOnw6NvIEdldHVsaW8gVmFyZ2FzIHBvciBtZWlvIGRlIHNldXMgc2lzdGVtYXMgaW5mb3JtYXRpemFkb3MuCgoyLiBBIGFzc2luYXR1cmEgZGVzdGEgbGljZW7Dp2EgdGVtIGNvbW8gY29uc2Vxw7zDqm5jaWEgYSB0cmFuc2ZlcsOqbmNpYSwgYQp0w610dWxvIG7Do28tZXhjbHVzaXZvIGUgbsOjby1vbmVyb3NvLCBpc2VudGEgZG8gcGFnYW1lbnRvIGRlIHJveWFsdGllcwpvdSBxdWFscXVlciBvdXRyYSBjb250cmFwcmVzdGHDp8OjbywgcGVjdW5pw6FyaWEgb3UgbsOjbywgw6AgRnVuZGHDp8OjbwpHZXR1bGlvIFZhcmdhcywgZG9zIGRpcmVpdG9zIGRlIGFybWF6ZW5hciBkaWdpdGFsbWVudGUsIHJlcHJvZHV6aXIgZQpkaXN0cmlidWlyIG5hY2lvbmFsIGUgaW50ZXJuYWNpb25hbG1lbnRlIGEgT2JyYSwgaW5jbHVpbmRvLXNlIG8gc2V1CnJlc3Vtby9hYnN0cmFjdCwgcG9yIG1laW9zIGVsZXRyw7RuaWNvcywgbm8gc2l0ZSBkYSBCaWJsaW90ZWNhIFZpcnR1YWwKRkdWLCBhbyBww7pibGljbyBlbSBnZXJhbCwgZW0gcmVnaW1lIGRlIGFjZXNzbyBhYmVydG8uCgozLiBBIHByZXNlbnRlIGxpY2Vuw6dhIHRhbWLDqW0gYWJyYW5nZSwgbm9zIG1lc21vcyB0ZXJtb3MgZXN0YWJlbGVjaWRvcwpubyBpdGVtIDIsIHN1cHJhLCBxdWFscXVlciBkaXJlaXRvIGRlIGNvbXVuaWNhw6fDo28gYW8gcMO6YmxpY28gY2Fiw612ZWwKZW0gcmVsYcOnw6NvIMOgIE9icmEgb3JhIGRlcG9zaXRhZGEsIGluY2x1aW5kby1zZSBvcyB1c29zIHJlZmVyZW50ZXMgw6AKcmVwcmVzZW50YcOnw6NvIHDDumJsaWNhIGUvb3UgZXhlY3XDp8OjbyBww7pibGljYSwgYmVtIGNvbW8gcXVhbHF1ZXIgb3V0cmEKbW9kYWxpZGFkZSBkZSBjb211bmljYcOnw6NvIGFvIHDDumJsaWNvIHF1ZSBleGlzdGEgb3UgdmVuaGEgYSBleGlzdGlyLApub3MgdGVybW9zIGRvIGFydGlnbyA2OCBlIHNlZ3VpbnRlcyBkYSBMZWkgOS42MTAvOTgsIG5hIGV4dGVuc8OjbyBxdWUKZm9yIGFwbGljw6F2ZWwgYW9zIHNlcnZpw6dvcyBwcmVzdGFkb3MgYW8gcMO6YmxpY28gcGVsYSBCaWJsaW90ZWNhClZpcnR1YWwgRkdWLgoKNC4gRXN0YSBsaWNlbsOnYSBhYnJhbmdlLCBhaW5kYSwgbm9zIG1lc21vcyB0ZXJtb3MgZXN0YWJlbGVjaWRvcyBubwppdGVtIDIsIHN1cHJhLCB0b2RvcyBvcyBkaXJlaXRvcyBjb25leG9zIGRlIGFydGlzdGFzIGludMOpcnByZXRlcyBvdQpleGVjdXRhbnRlcywgcHJvZHV0b3JlcyBmb25vZ3LDoWZpY29zIG91IGVtcHJlc2FzIGRlIHJhZGlvZGlmdXPDo28gcXVlCmV2ZW50dWFsbWVudGUgc2VqYW0gYXBsaWPDoXZlaXMgZW0gcmVsYcOnw6NvIMOgIG9icmEgZGVwb3NpdGFkYSwgZW0KY29uZm9ybWlkYWRlIGNvbSBvIHJlZ2ltZSBmaXhhZG8gbm8gVMOtdHVsbyBWIGRhIExlaSA5LjYxMC85OC4KCjUuIFNlIGEgT2JyYSBkZXBvc2l0YWRhIGZvaSBvdSDDqSBvYmpldG8gZGUgZmluYW5jaWFtZW50byBwb3IKaW5zdGl0dWnDp8O1ZXMgZGUgZm9tZW50byDDoCBwZXNxdWlzYSBvdSBxdWFscXVlciBvdXRyYSBzZW1lbGhhbnRlLCB2b2PDqgpvdSBvIHRpdHVsYXIgYXNzZWd1cmEgcXVlIGN1bXByaXUgdG9kYXMgYXMgb2JyaWdhw6fDtWVzIHF1ZSBsaGUgZm9yYW0KaW1wb3N0YXMgcGVsYSBpbnN0aXR1acOnw6NvIGZpbmFuY2lhZG9yYSBlbSByYXrDo28gZG8gZmluYW5jaWFtZW50bywgZQpxdWUgbsOjbyBlc3TDoSBjb250cmFyaWFuZG8gcXVhbHF1ZXIgZGlzcG9zacOnw6NvIGNvbnRyYXR1YWwgcmVmZXJlbnRlIMOgCnB1YmxpY2HDp8OjbyBkbyBjb250ZcO6ZG8gb3JhIHN1Ym1ldGlkbyDDoCBCaWJsaW90ZWNhIFZpcnR1YWwgRkdWLgoKNi4gQ2FzbyBhIE9icmEgb3JhIGRlcG9zaXRhZGEgZW5jb250cmUtc2UgbGljZW5jaWFkYSBzb2IgdW1hIGxpY2Vuw6dhCkNyZWF0aXZlIENvbW1vbnMgKHF1YWxxdWVyIHZlcnPDo28pLCBzb2IgYSBsaWNlbsOnYSBHTlUgRnJlZQpEb2N1bWVudGF0aW9uIExpY2Vuc2UgKHF1YWxxdWVyIHZlcnPDo28pLCBvdSBvdXRyYSBsaWNlbsOnYSBxdWFsaWZpY2FkYQpjb21vIGxpdnJlIHNlZ3VuZG8gb3MgY3JpdMOpcmlvcyBkYSBEZWZpbml0aW9uIG9mIEZyZWUgQ3VsdHVyYWwgV29ya3MKKGRpc3BvbsOtdmVsIGVtOiBodHRwOi8vZnJlZWRvbWRlZmluZWQub3JnL0RlZmluaXRpb24pIG91IEZyZWUgU29mdHdhcmUKRGVmaW5pdGlvbiAoZGlzcG9uw612ZWwgZW06IGh0dHA6Ly93d3cuZ251Lm9yZy9waGlsb3NvcGh5L2ZyZWUtc3cuaHRtbCksIApvIGFycXVpdm8gcmVmZXJlbnRlIMOgIE9icmEgZGV2ZSBpbmRpY2FyIGEgbGljZW7Dp2EgYXBsaWPDoXZlbCBlbQpjb250ZcO6ZG8gbGVnw612ZWwgcG9yIHNlcmVzIGh1bWFub3MgZSwgc2UgcG9zc8OtdmVsLCB0YW1iw6ltIGVtIG1ldGFkYWRvcwpsZWfDrXZlaXMgcG9yIG3DoXF1aW5hLiBBIGluZGljYcOnw6NvIGRhIGxpY2Vuw6dhIGFwbGljw6F2ZWwgZGV2ZSBzZXIKYWNvbXBhbmhhZGEgZGUgdW0gbGluayBwYXJhIG9zIHRlcm1vcyBkZSBsaWNlbmNpYW1lbnRvIG91IHN1YSBjw7NwaWEKaW50ZWdyYWwuCgoKQW8gY29uY2x1aXIgYSBwcmVzZW50ZSBldGFwYSBlIGFzIGV0YXBhcyBzdWJzZXHDvGVudGVzIGRvIHByb2Nlc3NvIGRlCnN1Ym1pc3PDo28gZGUgYXJxdWl2b3Mgw6AgQmlibGlvdGVjYSBWaXJ0dWFsIEZHViwgdm9jw6ogYXRlc3RhIHF1ZSBsZXUgZQpjb25jb3JkYSBpbnRlZ3JhbG1lbnRlIGNvbSBvcyB0ZXJtb3MgYWNpbWEgZGVsaW1pdGFkb3MsIGFzc2luYW5kby1vcwpzZW0gZmF6ZXIgcXVhbHF1ZXIgcmVzZXJ2YSBlIG5vdmFtZW50ZSBjb25maXJtYW5kbyBxdWUgY3VtcHJlIG9zCnJlcXVpc2l0b3MgaW5kaWNhZG9zIG5vIGl0ZW0gMSwgc3VwcmEuCgpIYXZlbmRvIHF1YWxxdWVyIGRpc2NvcmTDom5jaWEgZW0gcmVsYcOnw6NvIGFvcyBwcmVzZW50ZXMgdGVybW9zIG91IG7Do28Kc2UgdmVyaWZpY2FuZG8gbyBleGlnaWRvIG5vIGl0ZW0gMSwgc3VwcmEsIHZvY8OqIGRldmUgaW50ZXJyb21wZXIKaW1lZGlhdGFtZW50ZSBvIHByb2Nlc3NvIGRlIHN1Ym1pc3PDo28uIEEgY29udGludWlkYWRlIGRvIHByb2Nlc3NvCmVxdWl2YWxlIMOgIGFzc2luYXR1cmEgZGVzdGUgZG9jdW1lbnRvLCBjb20gdG9kYXMgYXMgY29uc2Vxw7zDqm5jaWFzIG5lbGUKcHJldmlzdGFzLCBzdWplaXRhbmRvLXNlIG8gc2lnbmF0w6FyaW8gYSBzYW7Dp8O1ZXMgY2l2aXMgZSBjcmltaW5haXMgY2Fzbwpuw6NvIHNlamEgdGl0dWxhciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgcGF0cmltb25pYWlzIGUvb3UgY29uZXhvcwphcGxpY8OhdmVpcyDDoCBPYnJhIGRlcG9zaXRhZGEgZHVyYW50ZSBlc3RlIHByb2Nlc3NvLCBvdSBjYXNvIG7Do28gdGVuaGEKb2J0aWRvIHByw6l2aWEgZSBleHByZXNzYSBhdXRvcml6YcOnw6NvIGRvIHRpdHVsYXIgcGFyYSBvIGRlcMOzc2l0byBlCnRvZG9zIG9zIHVzb3MgZGEgT2JyYSBlbnZvbHZpZG9zLgoKClBhcmEgYSBzb2x1w6fDo28gZGUgcXVhbHF1ZXIgZMO6dmlkYSBxdWFudG8gYW9zIHRlcm1vcyBkZSBsaWNlbmNpYW1lbnRvIGUKbyBwcm9jZXNzbyBkZSBzdWJtaXNzw6NvLCBjbGlxdWUgbm8gbGluayAiRmFsZSBjb25vc2NvIi4K
dc.title.por.fl_str_mv Análises de convergência e consistência de métricas de ranqueamento
title Análises de convergência e consistência de métricas de ranqueamento
spellingShingle Análises de convergência e consistência de métricas de ranqueamento
Chaves, Victor Villas Bôas
Recuperação da informação
Ranqueamento
Aprendizado de ranqueamento
Métricas de ranqueamento
Matemática
Sistemas de recuperação da informação
Aprendizado do computador
Análise matemática
title_short Análises de convergência e consistência de métricas de ranqueamento
title_full Análises de convergência e consistência de métricas de ranqueamento
title_fullStr Análises de convergência e consistência de métricas de ranqueamento
title_full_unstemmed Análises de convergência e consistência de métricas de ranqueamento
title_sort Análises de convergência e consistência de métricas de ranqueamento
author Chaves, Victor Villas Bôas
author_facet Chaves, Victor Villas Bôas
author_role author
dc.contributor.unidadefgv.por.fl_str_mv Escolas::EMAp
dc.contributor.member.none.fl_str_mv Saporito, Yuri Fahham
Holanda, Nicolaus Linneu de
dc.contributor.author.fl_str_mv Chaves, Victor Villas Bôas
dc.contributor.advisor1.fl_str_mv Coelho, Flávio Codeço
contributor_str_mv Coelho, Flávio Codeço
dc.subject.por.fl_str_mv Recuperação da informação
Ranqueamento
Aprendizado de ranqueamento
Métricas de ranqueamento
topic Recuperação da informação
Ranqueamento
Aprendizado de ranqueamento
Métricas de ranqueamento
Matemática
Sistemas de recuperação da informação
Aprendizado do computador
Análise matemática
dc.subject.area.none.fl_str_mv Matemática
dc.subject.bibliodata.por.fl_str_mv Sistemas de recuperação da informação
Aprendizado do computador
Análise matemática
description Cada vez mais interagimos com sistemas de buscas e esses sistemas contam com uma base crescente de documentos para filtrar e ordenar. Para avaliar a qualidade desses sistemas, diversas métricas de ranqueamento estão disponíveis com características específicas que devem encaixar no cenário de recuperação de informação. Com o advento de novas técnicas como uso de aprendizado de máquina em ranqueamento, também se espera algumas características numéricas das métricas que as tornem bons objetivos de otimização. Algumas destas métricas mais usadas como o NDCG@k possuem propriedades numéricas particulares que exigem atenção, especialmente ao analisar resultados de experimentos isolados. Neste trabalho demonstramos o comportamento assintótico desta e algumas variantes de métricas de ranqueamento mais utilizadas e apresentamos uma variante do NDCG que experimentalmente preserva suas características positivas enquanto mitiga características indesejadas.
publishDate 2020
dc.date.accessioned.fl_str_mv 2020-11-24T16:54:20Z
dc.date.available.fl_str_mv 2020-11-24T16:54:20Z
dc.date.issued.fl_str_mv 2020-08-21
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/10438/29863
url https://hdl.handle.net/10438/29863
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Institucional do FGV (FGV Repositório Digital)
instname:Fundação Getulio Vargas (FGV)
instacron:FGV
instname_str Fundação Getulio Vargas (FGV)
instacron_str FGV
institution FGV
reponame_str Repositório Institucional do FGV (FGV Repositório Digital)
collection Repositório Institucional do FGV (FGV Repositório Digital)
bitstream.url.fl_str_mv https://repositorio.fgv.br/bitstreams/44e2de42-a143-4210-b00e-36c80876f58b/download
https://repositorio.fgv.br/bitstreams/3d8b4f18-6040-4b70-ac1c-4bcc1f96da2d/download
https://repositorio.fgv.br/bitstreams/87c41816-5489-44bc-b822-a5ae84be4081/download
https://repositorio.fgv.br/bitstreams/77ba0c91-7e71-4b43-b6fa-d0be55bd750b/download
bitstream.checksum.fl_str_mv dfb340242cced38a6cca06c627998fa1
2db6311cda1c478d017bceddcfa4b1b8
a6fabf86876d5b67733d3ebb3817e73f
13cabdcbdc25a044c0ba891d8563dd6b
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional do FGV (FGV Repositório Digital) - Fundação Getulio Vargas (FGV)
repository.mail.fl_str_mv
_version_ 1813797806516731904

Registros relacionados