Uma análise comparativa entre as abordagens linguística e estatística para extração automática de termos relevantes de corpora

Detalhes bibliográficos
Autor(a) principal: Santos, Carlos Alberto dos
Data de Publicação: 2018
Tipo de documento: Dissertação
Idioma: por
Título da fonte: Biblioteca Digital de Teses e Dissertações da PUC_RS
Texto Completo: http://tede2.pucrs.br/tede2/handle/tede/8233
Resumo: It is known that linguistic processing of corpora demands high computational effort because of the complexity of its algorithms, but despite this, the results reached are better than that generated by the statistical processing, where the computational demand is lower. This dissertation describes a comparative analysis between the process linguistic and statistical of term extraction. Experiments were carried out through four corpora in English idiom, built from scientific papers, on which terms extractions were carried out using the approaches. The resulting terms lists were refined with use of relevance metrics and stop list, and then compared with the reference lists of the corpora across the recall technical. These lists, in its turn, were built from the context these corpora, whith help of Internet searches. The results shown that the statistical extraction combined with the stop list and relevance metrics can produce superior results to linguistic process extraction using the same metrics. It’s concluded that statistical approach composed by these metrics can be ideal option to relevance terms extraction, by requiring few computational resources and by to show superior results that found in the linguistic processing.
id P_RS_2b38de42a0ca15b7235729b0a9de9d55
oai_identifier_str oai:tede2.pucrs.br:tede/8233
network_acronym_str P_RS
network_name_str Biblioteca Digital de Teses e Dissertações da PUC_RS
repository_id_str
spelling Vieira, Renatahttp://lattes.cnpq.br/6218967777630412Santos, Carlos Alberto dos2018-08-01T14:31:21Z2018-04-27http://tede2.pucrs.br/tede2/handle/tede/8233It is known that linguistic processing of corpora demands high computational effort because of the complexity of its algorithms, but despite this, the results reached are better than that generated by the statistical processing, where the computational demand is lower. This dissertation describes a comparative analysis between the process linguistic and statistical of term extraction. Experiments were carried out through four corpora in English idiom, built from scientific papers, on which terms extractions were carried out using the approaches. The resulting terms lists were refined with use of relevance metrics and stop list, and then compared with the reference lists of the corpora across the recall technical. These lists, in its turn, were built from the context these corpora, whith help of Internet searches. The results shown that the statistical extraction combined with the stop list and relevance metrics can produce superior results to linguistic process extraction using the same metrics. It’s concluded that statistical approach composed by these metrics can be ideal option to relevance terms extraction, by requiring few computational resources and by to show superior results that found in the linguistic processing.Sabe-se que o processamento linguístico de corpora demanda grande esforço computacional devido à complexidade dos seus algoritmos, mas que, apesar disso, os resultados alcançados são melhores que aqueles gerados pelo processamento estatístico, onde a demanda computacional é menor. Esta dissertação descreve uma análise comparativa entre os processos linguístico e estatístico de extração de termos. Foram realizados experimentos através de quatro corpora em língua inglesa, construídos a partir de artigos científicos, sobre os quais foram executadas extrações de termos utilizando essas abordagens. As listas de termos resultantes foram refinadas com o uso de métricas de relevância e stop list, e em seguida comparadas com as listas de referência dos corpora através da técnica do recall. Essas listas, por sua vez, foram construídas a partir do contexto desses corpora e com ajuda de pesquisas na Internet. Os resultados mostraram que a extração estatística combinada com as técnicas da stop list e as métricas de relevância pode produzir resultados superiores ao processo de extração linguístico refinado pelas mesmas métricas. Concluiu se que a abordagem estatística composta por essas técnicas pode ser a opção ideal para extração de termos relevantes, por exigir poucos recursos computacionais e por apresentar resultados superiores àqueles encontrados no processamento linguístico.Submitted by PPG Ciência da Computação (ppgcc@pucrs.br) on 2018-07-26T19:48:07Z No. of bitstreams: 1 CARLOS ALBERTO DOS SANTOS_DIS.pdf: 1271475 bytes, checksum: 856ae87ad633d3c772b413816caa43d1 (MD5)Approved for entry into archive by Sheila Dias (sheila.dias@pucrs.br) on 2018-08-01T13:39:36Z (GMT) No. of bitstreams: 1 CARLOS ALBERTO DOS SANTOS_DIS.pdf: 1271475 bytes, checksum: 856ae87ad633d3c772b413816caa43d1 (MD5)Made available in DSpace on 2018-08-01T14:31:21Z (GMT). No. of bitstreams: 1 CARLOS ALBERTO DOS SANTOS_DIS.pdf: 1271475 bytes, checksum: 856ae87ad633d3c772b413816caa43d1 (MD5) Previous issue date: 2018-04-27application/pdfhttp://tede2.pucrs.br:80/tede2/retrieve/172937/CARLOS%20ALBERTO%20DOS%20SANTOS_DIS.pdf.jpgporPontifícia Universidade Católica do Rio Grande do SulPrograma de Pós-Graduação em Ciência da ComputaçãoPUCRSBrasilEscola PolitécnicaEextração de TermosMineração de TextoLista de ReferênciaMétricas EstatísticasExtração LinguísticaExtração EstatísticaStop ListTerm ExtractionText MiningReference ListStop ListStatistical MetricsLinguistic ExtractionStatistical ExtractionCIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAOUma análise comparativa entre as abordagens linguística e estatística para extração automática de termos relevantes de corporainfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisTrabalho não apresenta restrição para publicação1974996533081274470500500-862078257083325301info:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da PUC_RSinstname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)instacron:PUC_RSTHUMBNAILCARLOS ALBERTO DOS SANTOS_DIS.pdf.jpgCARLOS ALBERTO DOS SANTOS_DIS.pdf.jpgimage/jpeg5899http://tede2.pucrs.br/tede2/bitstream/tede/8233/4/CARLOS+ALBERTO+DOS+SANTOS_DIS.pdf.jpg103da34f8ec836cec3f1b9ef796f9b6aMD54TEXTCARLOS ALBERTO DOS SANTOS_DIS.pdf.txtCARLOS ALBERTO DOS SANTOS_DIS.pdf.txttext/plain185898http://tede2.pucrs.br/tede2/bitstream/tede/8233/3/CARLOS+ALBERTO+DOS+SANTOS_DIS.pdf.txt90a2757919191ba894d9112d019e106dMD53ORIGINALCARLOS ALBERTO DOS SANTOS_DIS.pdfCARLOS ALBERTO DOS SANTOS_DIS.pdfapplication/pdf1271475http://tede2.pucrs.br/tede2/bitstream/tede/8233/2/CARLOS+ALBERTO+DOS+SANTOS_DIS.pdf856ae87ad633d3c772b413816caa43d1MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-8610http://tede2.pucrs.br/tede2/bitstream/tede/8233/1/license.txt5a9d6006225b368ef605ba16b4f6d1beMD51tede/82332018-08-01 20:00:47.644oai:tede2.pucrs.br:tede/8233QXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2HDp8OjbyBFbGV0csO0bmljYTogQ29tIGJhc2Ugbm8gZGlzcG9zdG8gbmEgTGVpIEZlZGVyYWwgbsK6OS42MTAsIGRlIDE5IGRlIGZldmVyZWlybyBkZSAxOTk4LCBvIGF1dG9yIEFVVE9SSVpBIGEgcHVibGljYcOnw6NvIGVsZXRyw7RuaWNhIGRhIHByZXNlbnRlIG9icmEgbm8gYWNlcnZvIGRhIEJpYmxpb3RlY2EgRGlnaXRhbCBkYSBQb250aWbDrWNpYSBVbml2ZXJzaWRhZGUgQ2F0w7NsaWNhIGRvIFJpbyBHcmFuZGUgZG8gU3VsLCBzZWRpYWRhIGEgQXYuIElwaXJhbmdhIDY2ODEsIFBvcnRvIEFsZWdyZSwgUmlvIEdyYW5kZSBkbyBTdWwsIGNvbSByZWdpc3RybyBkZSBDTlBKIDg4NjMwNDEzMDAwMi04MSBiZW0gY29tbyBlbSBvdXRyYXMgYmlibGlvdGVjYXMgZGlnaXRhaXMsIG5hY2lvbmFpcyBlIGludGVybmFjaW9uYWlzLCBjb25zw7NyY2lvcyBlIHJlZGVzIMOgcyBxdWFpcyBhIGJpYmxpb3RlY2EgZGEgUFVDUlMgcG9zc2EgYSB2aXIgcGFydGljaXBhciwgc2VtIMO0bnVzIGFsdXNpdm8gYW9zIGRpcmVpdG9zIGF1dG9yYWlzLCBhIHTDrXR1bG8gZGUgZGl2dWxnYcOnw6NvIGRhIHByb2R1w6fDo28gY2llbnTDrWZpY2EuCg==Biblioteca Digital de Teses e Dissertaçõeshttp://tede2.pucrs.br/tede2/PRIhttps://tede2.pucrs.br/oai/requestbiblioteca.central@pucrs.br||opendoar:2018-08-01T23:00:47Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)false
dc.title.por.fl_str_mv Uma análise comparativa entre as abordagens linguística e estatística para extração automática de termos relevantes de corpora
title Uma análise comparativa entre as abordagens linguística e estatística para extração automática de termos relevantes de corpora
spellingShingle Uma análise comparativa entre as abordagens linguística e estatística para extração automática de termos relevantes de corpora
Santos, Carlos Alberto dos
Eextração de Termos
Mineração de Texto
Lista de Referência
Métricas Estatísticas
Extração Linguística
Extração Estatística
Stop List
Term Extraction
Text Mining
Reference List
Stop List
Statistical Metrics
Linguistic Extraction
Statistical Extraction
CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO
title_short Uma análise comparativa entre as abordagens linguística e estatística para extração automática de termos relevantes de corpora
title_full Uma análise comparativa entre as abordagens linguística e estatística para extração automática de termos relevantes de corpora
title_fullStr Uma análise comparativa entre as abordagens linguística e estatística para extração automática de termos relevantes de corpora
title_full_unstemmed Uma análise comparativa entre as abordagens linguística e estatística para extração automática de termos relevantes de corpora
title_sort Uma análise comparativa entre as abordagens linguística e estatística para extração automática de termos relevantes de corpora
author Santos, Carlos Alberto dos
author_facet Santos, Carlos Alberto dos
author_role author
dc.contributor.advisor1.fl_str_mv Vieira, Renata
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/6218967777630412
dc.contributor.author.fl_str_mv Santos, Carlos Alberto dos
contributor_str_mv Vieira, Renata
dc.subject.por.fl_str_mv Eextração de Termos
Mineração de Texto
Lista de Referência
Métricas Estatísticas
Extração Linguística
Extração Estatística
topic Eextração de Termos
Mineração de Texto
Lista de Referência
Métricas Estatísticas
Extração Linguística
Extração Estatística
Stop List
Term Extraction
Text Mining
Reference List
Stop List
Statistical Metrics
Linguistic Extraction
Statistical Extraction
CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO
dc.subject.eng.fl_str_mv Stop List
Term Extraction
Text Mining
Reference List
Stop List
Statistical Metrics
Linguistic Extraction
Statistical Extraction
dc.subject.cnpq.fl_str_mv CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO
description It is known that linguistic processing of corpora demands high computational effort because of the complexity of its algorithms, but despite this, the results reached are better than that generated by the statistical processing, where the computational demand is lower. This dissertation describes a comparative analysis between the process linguistic and statistical of term extraction. Experiments were carried out through four corpora in English idiom, built from scientific papers, on which terms extractions were carried out using the approaches. The resulting terms lists were refined with use of relevance metrics and stop list, and then compared with the reference lists of the corpora across the recall technical. These lists, in its turn, were built from the context these corpora, whith help of Internet searches. The results shown that the statistical extraction combined with the stop list and relevance metrics can produce superior results to linguistic process extraction using the same metrics. It’s concluded that statistical approach composed by these metrics can be ideal option to relevance terms extraction, by requiring few computational resources and by to show superior results that found in the linguistic processing.
publishDate 2018
dc.date.accessioned.fl_str_mv 2018-08-01T14:31:21Z
dc.date.issued.fl_str_mv 2018-04-27
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://tede2.pucrs.br/tede2/handle/tede/8233
url http://tede2.pucrs.br/tede2/handle/tede/8233
dc.language.iso.fl_str_mv por
language por
dc.relation.program.fl_str_mv 1974996533081274470
dc.relation.confidence.fl_str_mv 500
500
dc.relation.cnpq.fl_str_mv -862078257083325301
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Pontifícia Universidade Católica do Rio Grande do Sul
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Ciência da Computação
dc.publisher.initials.fl_str_mv PUCRS
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Escola Politécnica
publisher.none.fl_str_mv Pontifícia Universidade Católica do Rio Grande do Sul
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da PUC_RS
instname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)
instacron:PUC_RS
instname_str Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)
instacron_str PUC_RS
institution PUC_RS
reponame_str Biblioteca Digital de Teses e Dissertações da PUC_RS
collection Biblioteca Digital de Teses e Dissertações da PUC_RS
bitstream.url.fl_str_mv http://tede2.pucrs.br/tede2/bitstream/tede/8233/4/CARLOS+ALBERTO+DOS+SANTOS_DIS.pdf.jpg
http://tede2.pucrs.br/tede2/bitstream/tede/8233/3/CARLOS+ALBERTO+DOS+SANTOS_DIS.pdf.txt
http://tede2.pucrs.br/tede2/bitstream/tede/8233/2/CARLOS+ALBERTO+DOS+SANTOS_DIS.pdf
http://tede2.pucrs.br/tede2/bitstream/tede/8233/1/license.txt
bitstream.checksum.fl_str_mv 103da34f8ec836cec3f1b9ef796f9b6a
90a2757919191ba894d9112d019e106d
856ae87ad633d3c772b413816caa43d1
5a9d6006225b368ef605ba16b4f6d1be
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)
repository.mail.fl_str_mv biblioteca.central@pucrs.br||
_version_ 1799765334964568064