Explorando calibragem ponderada, balanceamentos e métricas para justiça em sistemas de recomendação

Detalhes bibliográficos
Autor(a) principal: Silva, Diego Correa da
Data de Publicação: 2021
Outros Autores: Silva, Diego Corrêa da
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Repositório Institucional da UFBA
Texto Completo: https://repositorio.ufba.br/handle/ri/34643
Resumo: Sistemas de recomendação são ferramentas utilizadas para sugerir itens, que possivelmente sejam de interesse dos usuários. Estes sistemas baseiam-se no histórico de preferências do usuário para gerar uma lista de sugestões que possuam maior similaridade com o perfil do usuário, visando uma melhor precisão e um menor erro. É esperado que, ao ser recomendado um item, o usuário informe sua preferência ao sistema, indicando se gostou ou o quanto gostou do item recomendado. A interação do usuário com o sistema possibilita um melhor entendimento de seus gostos, que com o tempo, adiciona mais e mais itens a seu perfil de preferências. A recomendação baseada em similaridade do item com as preferências buscando a melhor precisão pode causar efeitos colaterais na lista como: superespecialização das recomendações em um determinado núcleo de itens, pouca diversidade de categorias e desbalanceamento de categoria ou gênero. Assim, esta dissertação tem como objetivo explorar a calibragem, que é um meio para produzir recomendações que sejam relevantes aos usuários e ao mesmo tempo considerar todas as áreas de suas preferências, buscando evitar a desproporção na lista de recomendação. Para isto, foram abordadas formas de ponderar o balanceamento entre a relevância das recomendações e a calibragem baseada em medidas de divergência, assim como um modelo de sistema calibrado e um protocolo de decisão. A hipótese é que a calibragem pode contribuir positivamente para recomendações mais justas de acordo com a preferência do usuário. A pesquisa foi realizada através de uma ampla abordagem propondo um modelo de sistema e um protocolo de decisão que contempla em seu experimento nove algoritmos de recomendação aplicados nos domínios de filme e música, analisando três medidas de divergência, dois pesos de balanceamento personalizado e dois balanceamentos entre relevância-calibragem. A avaliação foi analisada com métricas amplamente utilizadas, assim como métricas propostas neste trabalho. Os resultados indicam que a calibragem produz efeitos positivos tanto para a precisão da recomendação quanto para a justiça com as preferências do usuário, criando listas de recomendação que respeitem todas as áreas. Os resultados também indicam qual é a melhor combinação para obter um melhor desempenho ao aplicar as propostas de calibragem.
id UFBA-2_d5de373620163b167bfcb87f8d591a1c
oai_identifier_str oai:repositorio.ufba.br:ri/34643
network_acronym_str UFBA-2
network_name_str Repositório Institucional da UFBA
repository_id_str 1932
spelling Silva, Diego Correa daSilva, Diego Corrêa daDurão, Frederico AraújoDurão, Frederico Araújo0000-0002-7766-6666http://lattes.cnpq.br/6271096128174325Marinho, Leandro BalbyRios, Tatiane NogueiraMarinho, Leandro Balbyhttp://lattes.cnpq.br/3728312501032061Rios, Tatiane Nogueirahttp://lattes.cnpq.br/08511481379412400000-0001-7132-1977http://lattes.cnpq.br/08991886422218952022-01-03T19:31:59Z2022-01-032022-01-03T19:31:59Z2021-07-012021-07-01https://repositorio.ufba.br/handle/ri/34643Sistemas de recomendação são ferramentas utilizadas para sugerir itens, que possivelmente sejam de interesse dos usuários. Estes sistemas baseiam-se no histórico de preferências do usuário para gerar uma lista de sugestões que possuam maior similaridade com o perfil do usuário, visando uma melhor precisão e um menor erro. É esperado que, ao ser recomendado um item, o usuário informe sua preferência ao sistema, indicando se gostou ou o quanto gostou do item recomendado. A interação do usuário com o sistema possibilita um melhor entendimento de seus gostos, que com o tempo, adiciona mais e mais itens a seu perfil de preferências. A recomendação baseada em similaridade do item com as preferências buscando a melhor precisão pode causar efeitos colaterais na lista como: superespecialização das recomendações em um determinado núcleo de itens, pouca diversidade de categorias e desbalanceamento de categoria ou gênero. Assim, esta dissertação tem como objetivo explorar a calibragem, que é um meio para produzir recomendações que sejam relevantes aos usuários e ao mesmo tempo considerar todas as áreas de suas preferências, buscando evitar a desproporção na lista de recomendação. Para isto, foram abordadas formas de ponderar o balanceamento entre a relevância das recomendações e a calibragem baseada em medidas de divergência, assim como um modelo de sistema calibrado e um protocolo de decisão. A hipótese é que a calibragem pode contribuir positivamente para recomendações mais justas de acordo com a preferência do usuário. A pesquisa foi realizada através de uma ampla abordagem propondo um modelo de sistema e um protocolo de decisão que contempla em seu experimento nove algoritmos de recomendação aplicados nos domínios de filme e música, analisando três medidas de divergência, dois pesos de balanceamento personalizado e dois balanceamentos entre relevância-calibragem. A avaliação foi analisada com métricas amplamente utilizadas, assim como métricas propostas neste trabalho. Os resultados indicam que a calibragem produz efeitos positivos tanto para a precisão da recomendação quanto para a justiça com as preferências do usuário, criando listas de recomendação que respeitem todas as áreas. Os resultados também indicam qual é a melhor combinação para obter um melhor desempenho ao aplicar as propostas de calibragem.Recommendation Systems are tools used to suggest items, which possibly will be interesting to the users. These systems are based on the user’s preference historic to generate a suggestion list that has higher similarity with the items in the user’s historic, providing a better precision and minor error. It is expected that when an item is recommended, the user will send a feedback, indicating if he/she likes or dislikes the recommendation. The user interaction with the system provides a better way to understand the preferences of the user, who, over time, adds more and more itens in its profile. The recommendation based on item similarity with the user preference searching for better precision, can cause collateral effects in the recommendation list, such as: superspecialization of the items in the list with a little kernel of items, few diversity of categories and unbalanced genres. Thus, this dissertation aims to explore the calibration, which is a way to produce recommendations that will be relevant to the users and at the same time considering all genres in the preferences, trying to avoid a misproportion in the recommendation list. To this end, ways are addressed to weight the tradeoff between the relevance of the recommendations and the calibration based on divergence measures, as well as a calibrated system framework and decision protocol. The hypothesis are that calibration can contribute positively to provide more fairer recommendations. The research is accomplished with a large approach proposing a framework and a decision protocol that contemplates nine recommender algorithms applied on the domains of movie and music, analysing three divergence measures, two personalized tradeoff weights and two tradeoff formulations between relevance-calibration. The evaluation is analysed with well-known metrics, as well as proposed metrics. The results indicate that the calibration produces positive effects to the precision and to the fairness, creating a recommendation list that respects the genre distribution. The results also indicate which is the best system combination to obtain a better performance when applying the proposed calibrationSubmitted by Diego Corrêa da Silva (diegocorrea.cc@gmail.com) on 2021-12-09T23:55:50Z No. of bitstreams: 1 Diego_Correa_Dissertação_Corrigida_Com_Capa.pdf: 31140859 bytes, checksum: 954b057afba6ccf04ab610b141e421a9 (MD5)Rejected by Solange Rocha (soluny@gmail.com), reason: Prezado boa tarde! O item foi submetido à coleção Dissertações (PGCOMP) como artigo e é uma dissertação de mestrado. Por favor, refazer o depósito na comunidade correspondente - Programa de Pós-Graduação em Ciência da Computação (PGCOMP) na coleção Dissertações (PGCOMP) para darmos continuidade a validação. Grata! on 2021-12-13T18:43:31Z (GMT)Submitted by Diego Corrêa da Silva (diegocorrea.cc@gmail.com) on 2021-12-16T18:29:58Z No. of bitstreams: 1 Diego_Correa_Dissertação_Corrigida_Com_Capa.pdf: 31140859 bytes, checksum: 954b057afba6ccf04ab610b141e421a9 (MD5)Approved for entry into archive by Solange Rocha (soluny@gmail.com) on 2022-01-03T19:31:59Z (GMT) No. of bitstreams: 1 Diego_Correa_Dissertação_Corrigida_Com_Capa.pdf: 31140859 bytes, checksum: 954b057afba6ccf04ab610b141e421a9 (MD5)Made available in DSpace on 2022-01-03T19:31:59Z (GMT). No. of bitstreams: 1 Diego_Correa_Dissertação_Corrigida_Com_Capa.pdf: 31140859 bytes, checksum: 954b057afba6ccf04ab610b141e421a9 (MD5) Previous issue date: 2021-07-01CAPESporpt_BRUniversidade Federal da BahiaInstituto de ComputaçãoPrograma de Pós-Graduação em Ciência da Computação (PGCOMP) UFBABrasilInstituto de MatemáticaFINEP/MCT, CNPQ e FAPESB e da Universidade Estadual de Santa Cruz - UESC, que concedeu acesso ao computador de alto desempenho e o Laboratório Nacional de Computação Científica (LNCC/MCTI, Brazil) que concedeu acesso aos recursos do computador de alto desempenho chamado SDumont.CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWARECalibragemJustiçaMétricasPersonalizaçãoSistema de recomendaçãoCalibraçãoAlgoritmos computacionaisCalibrationFairnessMetricsPersonalizationRecommendation systemComputational AlgorithmsExplorando calibragem ponderada, balanceamentos e métricas para justiça em sistemas de recomendaçãoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFBAinstname:Universidade Federal da Bahia (UFBA)instacron:UFBAORIGINALDiego_Correa_Dissertação_Corrigida_Com_Capa.pdfDiego_Correa_Dissertação_Corrigida_Com_Capa.pdfDissertação Completaapplication/pdf31140859https://repositorio.ufba.br/bitstream/ri/34643/1/Diego_Correa_Disserta%c3%a7%c3%a3o_Corrigida_Com_Capa.pdf954b057afba6ccf04ab610b141e421a9MD51LICENSElicense.txtlicense.txttext/plain1582https://repositorio.ufba.br/bitstream/ri/34643/2/license.txt907e2b7d511fb2c3e42dbdd41a6197c6MD52TEXTDiego_Correa_Dissertação_Corrigida_Com_Capa.pdf.txtDiego_Correa_Dissertação_Corrigida_Com_Capa.pdf.txtExtracted texttext/plain370317https://repositorio.ufba.br/bitstream/ri/34643/3/Diego_Correa_Disserta%c3%a7%c3%a3o_Corrigida_Com_Capa.pdf.txtcabaf1e0aa3a0b556ce9c782c9a32d6bMD53ri/346432022-02-16 18:40:30.868oai:repositorio.ufba.br:ri/34643VGVybW8gZGUgTGljZW7Dp2EsIG7Do28gZXhjbHVzaXZvLCBwYXJhIG8gZGVww7NzaXRvIG5vIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGQkEuCgogUGVsbyBwcm9jZXNzbyBkZSBzdWJtaXNzw4PCg8OCwqNvIGRlIGRvY3VtZW50b3MsIG8gYXV0b3Igb3Ugc2V1IHJlcHJlc2VudGFudGUgbGVnYWwsIGFvIGFjZWl0YXIgZXNzZSB0ZXJtbyBkZSBsaWNlbsODwoPDgsKnYSwgY29uY2VkZSBhbyBSZXBvc2l0w4PCg8OCwrNyaW8gSW5zdGl0dWNpb25hbCBkYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkYSBCYWhpYSBvIGRpcmVpdG8gZGUgbWFudGVyIHVtYSBjw4PCg8OCwrNwaWEgZW0gc2V1IHJlcG9zaXTDg8KDw4LCs3JpbyBjb20gYSBmaW5hbGlkYWRlLCBwcmltZWlyYSwgZGUgcHJlc2VydmHDg8KDw4LCp8ODwoPDgsKjby4gCgpFc3NlcyB0ZXJtb3MsIG7Dg8KDw4LCo28gZXhjbHVzaXZvcywgbWFudMODwoPDgsKpbSBvcyBkaXJlaXRvcyBkZSBhdXRvci9jb3B5cmlnaHQsIG1hcyBlbnRlbmRlIG8gZG9jdW1lbnRvIGNvbW8gcGFydGUgZG8gYWNlcnZvIGludGVsZWN0dWFsIGRlc3NhIFVuaXZlcnNpZGFkZS4KCiBQYXJhIG9zIGRvY3VtZW50b3MgcHVibGljYWRvcyBjb20gcmVwYXNzZSBkZSBkaXJlaXRvcyBkZSBkaXN0cmlidWnDg8KDw4LCp8ODwoPDgsKjbywgZXNzZSB0ZXJtbyBkZSBsaWNlbsODwoPDgsKnYSBlbnRlbmRlIHF1ZToKCiBNYW50ZW5kbyBvcyBkaXJlaXRvcyBhdXRvcmFpcywgcmVwYXNzYWRvcyBhIHRlcmNlaXJvcywgZW0gY2FzbyBkZSBwdWJsaWNhw4PCg8OCwqfDg8KDw4LCtWVzLCBvIHJlcG9zaXTDg8KDw4LCs3JpbyBwb2RlIHJlc3RyaW5naXIgbyBhY2Vzc28gYW8gdGV4dG8gaW50ZWdyYWwsIG1hcyBsaWJlcmEgYXMgaW5mb3JtYcODwoPDgsKnw4PCg8OCwrVlcyBzb2JyZSBvIGRvY3VtZW50byAoTWV0YWRhZG9zIGRlc2NyaXRpdm9zKS4KCiBEZXN0YSBmb3JtYSwgYXRlbmRlbmRvIGFvcyBhbnNlaW9zIGRlc3NhIHVuaXZlcnNpZGFkZSBlbSBtYW50ZXIgc3VhIHByb2R1w4PCg8OCwqfDg8KDw4LCo28gY2llbnTDg8KDw4LCrWZpY2EgY29tIGFzIHJlc3RyacODwoPDgsKnw4PCg8OCwrVlcyBpbXBvc3RhcyBwZWxvcyBlZGl0b3JlcyBkZSBwZXJpw4PCg8OCwrNkaWNvcy4KCiBQYXJhIGFzIHB1YmxpY2HDg8KDw4LCp8ODwoPDgsK1ZXMgc2VtIGluaWNpYXRpdmFzIHF1ZSBzZWd1ZW0gYSBwb2zDg8KDw4LCrXRpY2EgZGUgQWNlc3NvIEFiZXJ0bywgb3MgZGVww4PCg8OCwrNzaXRvcyBjb21wdWxzw4PCg8OCwrNyaW9zIG5lc3NlIHJlcG9zaXTDg8KDw4LCs3JpbyBtYW50w4PCg8OCwqltIG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBtYXMgbWFudMODwoPDgsKpbSBhY2Vzc28gaXJyZXN0cml0byBhb3MgbWV0YWRhZG9zIGUgdGV4dG8gY29tcGxldG8uIEFzc2ltLCBhIGFjZWl0YcODwoPDgsKnw4PCg8OCwqNvIGRlc3NlIHRlcm1vIG7Dg8KDw4LCo28gbmVjZXNzaXRhIGRlIGNvbnNlbnRpbWVudG8gcG9yIHBhcnRlIGRlIGF1dG9yZXMvZGV0ZW50b3JlcyBkb3MgZGlyZWl0b3MsIHBvciBlc3RhcmVtIGVtIGluaWNpYXRpdmFzIGRlIGFjZXNzbyBhYmVydG8uCg==Repositório InstitucionalPUBhttp://192.188.11.11:8080/oai/requestopendoar:19322022-02-16T21:40:30Repositório Institucional da UFBA - Universidade Federal da Bahia (UFBA)false
dc.title.pt_BR.fl_str_mv Explorando calibragem ponderada, balanceamentos e métricas para justiça em sistemas de recomendação
title Explorando calibragem ponderada, balanceamentos e métricas para justiça em sistemas de recomendação
spellingShingle Explorando calibragem ponderada, balanceamentos e métricas para justiça em sistemas de recomendação
Silva, Diego Correa da
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWARE
Calibragem
Justiça
Métricas
Personalização
Sistema de recomendação
Calibração
Algoritmos computacionais
Calibration
Fairness
Metrics
Personalization
Recommendation system
Computational Algorithms
title_short Explorando calibragem ponderada, balanceamentos e métricas para justiça em sistemas de recomendação
title_full Explorando calibragem ponderada, balanceamentos e métricas para justiça em sistemas de recomendação
title_fullStr Explorando calibragem ponderada, balanceamentos e métricas para justiça em sistemas de recomendação
title_full_unstemmed Explorando calibragem ponderada, balanceamentos e métricas para justiça em sistemas de recomendação
title_sort Explorando calibragem ponderada, balanceamentos e métricas para justiça em sistemas de recomendação
author Silva, Diego Correa da
author_facet Silva, Diego Correa da
Silva, Diego Corrêa da
author_role author
author2 Silva, Diego Corrêa da
author2_role author
dc.contributor.author.fl_str_mv Silva, Diego Correa da
Silva, Diego Corrêa da
dc.contributor.advisor1.fl_str_mv Durão, Frederico Araújo
Durão, Frederico Araújo
dc.contributor.advisor1ID.fl_str_mv 0000-0002-7766-6666
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/6271096128174325
dc.contributor.referee1.fl_str_mv Marinho, Leandro Balby
Rios, Tatiane Nogueira
Marinho, Leandro Balby
dc.contributor.referee1Lattes.fl_str_mv http://lattes.cnpq.br/3728312501032061
dc.contributor.referee2.fl_str_mv Rios, Tatiane Nogueira
dc.contributor.referee2Lattes.fl_str_mv http://lattes.cnpq.br/0851148137941240
dc.contributor.authorID.fl_str_mv 0000-0001-7132-1977
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/0899188642221895
contributor_str_mv Durão, Frederico Araújo
Durão, Frederico Araújo
Marinho, Leandro Balby
Rios, Tatiane Nogueira
Marinho, Leandro Balby
Rios, Tatiane Nogueira
dc.subject.cnpq.fl_str_mv CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWARE
topic CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWARE
Calibragem
Justiça
Métricas
Personalização
Sistema de recomendação
Calibração
Algoritmos computacionais
Calibration
Fairness
Metrics
Personalization
Recommendation system
Computational Algorithms
dc.subject.por.fl_str_mv Calibragem
Justiça
Métricas
Personalização
Sistema de recomendação
Calibração
Algoritmos computacionais
Calibration
Fairness
Metrics
Personalization
Recommendation system
Computational Algorithms
description Sistemas de recomendação são ferramentas utilizadas para sugerir itens, que possivelmente sejam de interesse dos usuários. Estes sistemas baseiam-se no histórico de preferências do usuário para gerar uma lista de sugestões que possuam maior similaridade com o perfil do usuário, visando uma melhor precisão e um menor erro. É esperado que, ao ser recomendado um item, o usuário informe sua preferência ao sistema, indicando se gostou ou o quanto gostou do item recomendado. A interação do usuário com o sistema possibilita um melhor entendimento de seus gostos, que com o tempo, adiciona mais e mais itens a seu perfil de preferências. A recomendação baseada em similaridade do item com as preferências buscando a melhor precisão pode causar efeitos colaterais na lista como: superespecialização das recomendações em um determinado núcleo de itens, pouca diversidade de categorias e desbalanceamento de categoria ou gênero. Assim, esta dissertação tem como objetivo explorar a calibragem, que é um meio para produzir recomendações que sejam relevantes aos usuários e ao mesmo tempo considerar todas as áreas de suas preferências, buscando evitar a desproporção na lista de recomendação. Para isto, foram abordadas formas de ponderar o balanceamento entre a relevância das recomendações e a calibragem baseada em medidas de divergência, assim como um modelo de sistema calibrado e um protocolo de decisão. A hipótese é que a calibragem pode contribuir positivamente para recomendações mais justas de acordo com a preferência do usuário. A pesquisa foi realizada através de uma ampla abordagem propondo um modelo de sistema e um protocolo de decisão que contempla em seu experimento nove algoritmos de recomendação aplicados nos domínios de filme e música, analisando três medidas de divergência, dois pesos de balanceamento personalizado e dois balanceamentos entre relevância-calibragem. A avaliação foi analisada com métricas amplamente utilizadas, assim como métricas propostas neste trabalho. Os resultados indicam que a calibragem produz efeitos positivos tanto para a precisão da recomendação quanto para a justiça com as preferências do usuário, criando listas de recomendação que respeitem todas as áreas. Os resultados também indicam qual é a melhor combinação para obter um melhor desempenho ao aplicar as propostas de calibragem.
publishDate 2021
dc.date.submitted.none.fl_str_mv 2021-07-01
dc.date.issued.fl_str_mv 2021-07-01
dc.date.accessioned.fl_str_mv 2022-01-03T19:31:59Z
dc.date.available.fl_str_mv 2022-01-03
2022-01-03T19:31:59Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufba.br/handle/ri/34643
url https://repositorio.ufba.br/handle/ri/34643
dc.language.iso.fl_str_mv por
pt_BR
language por
language_invalid_str_mv pt_BR
dc.relation.pt_BR.fl_str_mv FINEP/MCT, CNPQ e FAPESB e da Universidade Estadual de Santa Cruz - UESC, que concedeu acesso ao computador de alto desempenho e o Laboratório Nacional de Computação Científica (LNCC/MCTI, Brazil) que concedeu acesso aos recursos do computador de alto desempenho chamado SDumont.
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal da Bahia
Instituto de Computação
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Ciência da Computação (PGCOMP) 
dc.publisher.initials.fl_str_mv UFBA
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Instituto de Matemática
publisher.none.fl_str_mv Universidade Federal da Bahia
Instituto de Computação
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFBA
instname:Universidade Federal da Bahia (UFBA)
instacron:UFBA
instname_str Universidade Federal da Bahia (UFBA)
instacron_str UFBA
institution UFBA
reponame_str Repositório Institucional da UFBA
collection Repositório Institucional da UFBA
bitstream.url.fl_str_mv https://repositorio.ufba.br/bitstream/ri/34643/1/Diego_Correa_Disserta%c3%a7%c3%a3o_Corrigida_Com_Capa.pdf
https://repositorio.ufba.br/bitstream/ri/34643/2/license.txt
https://repositorio.ufba.br/bitstream/ri/34643/3/Diego_Correa_Disserta%c3%a7%c3%a3o_Corrigida_Com_Capa.pdf.txt
bitstream.checksum.fl_str_mv 954b057afba6ccf04ab610b141e421a9
907e2b7d511fb2c3e42dbdd41a6197c6
cabaf1e0aa3a0b556ce9c782c9a32d6b
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFBA - Universidade Federal da Bahia (UFBA)
repository.mail.fl_str_mv
_version_ 1808459635968966656