Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira

Detalhes bibliográficos
Autor(a) principal: Valiati, Gustavo Rafael
Data de Publicação: 2013
Tipo de documento: Trabalho de conclusão de curso
Idioma: por
Título da fonte: Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
Texto Completo: http://repositorio.utfpr.edu.br/jspui/handle/1/13445
Resumo: O grande crescimento da capacidade de gerar, transmitir e armazenar dados em meios digitais, tem superado a capacidade humana de extração de conhecimento destes dados. A Mineração de Dados é o processo que surgiu nas últimas décadas, justamente com o objetivo de resolver o problema. Este trabalho apresenta a aplicação da Mineração de Dados, como estudo de caso, em uma grande quantidade de dados em logs, produzidos pelo Squid, em servidores de compartilhamento de Internet, a fim de extrair conhecimento requerido pelo administrador de redes. O trabalho aborda, de maneira detalhada, a realização das etapas da Mineração de Dados, e também alguns empecilhos que atrapalharam a execução de parte do projeto, como: inviabilidade de construção de uma ferramenta automatizada para o processo de Mineração de Dados; incapacidade de determinado hardware suportar processamento de dados requerido; necessidade do uso de novas estratégias na criação de arquivos ARFF grandes, para tornar possível a ferramenta Weka aplicar as tarefas de mineração. Ainda, este trabalho apresenta uma ferramenta de pré-processamento e transformação de dados, criada especificamente para o ambiente encontrado. Como resultados da mineração são apresentados padrões encontrados nos logs juntamente com amostras de interpretações possíveis. Por fim, são listadas algumas oportunidades de novos trabalhos.
id UTFPR-12_dfe13ea530f528d18813cd1d82ef212d
oai_identifier_str oai:repositorio.utfpr.edu.br:1/13445
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling 2020-11-16T14:44:50Z2020-11-16T14:44:50Z2013-03-27VALIATI, Gustavo Rafael. Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira. 2013. 76 f. Trabalho de Conclusão de Curso (Graduação) – Universidade Tecnológica Federal do Paraná, Medianeira, 2013.http://repositorio.utfpr.edu.br/jspui/handle/1/13445O grande crescimento da capacidade de gerar, transmitir e armazenar dados em meios digitais, tem superado a capacidade humana de extração de conhecimento destes dados. A Mineração de Dados é o processo que surgiu nas últimas décadas, justamente com o objetivo de resolver o problema. Este trabalho apresenta a aplicação da Mineração de Dados, como estudo de caso, em uma grande quantidade de dados em logs, produzidos pelo Squid, em servidores de compartilhamento de Internet, a fim de extrair conhecimento requerido pelo administrador de redes. O trabalho aborda, de maneira detalhada, a realização das etapas da Mineração de Dados, e também alguns empecilhos que atrapalharam a execução de parte do projeto, como: inviabilidade de construção de uma ferramenta automatizada para o processo de Mineração de Dados; incapacidade de determinado hardware suportar processamento de dados requerido; necessidade do uso de novas estratégias na criação de arquivos ARFF grandes, para tornar possível a ferramenta Weka aplicar as tarefas de mineração. Ainda, este trabalho apresenta uma ferramenta de pré-processamento e transformação de dados, criada especificamente para o ambiente encontrado. Como resultados da mineração são apresentados padrões encontrados nos logs juntamente com amostras de interpretações possíveis. Por fim, são listadas algumas oportunidades de novos trabalhos.The large increase in capacity to generate, transmit and store data in digital format, has exceeded the human capacity of knowledge extraction of these data. The Data Mining is the process emerged in recent decades, precisely in order to solve the problem. This paper presents the application of Data Mining, as a case study, in a large amount of data in logs, generated by Squid, from Internet sharing servers, to extract knowledge required by the network administrator. The paper discusses, in detail, performing the steps of Data Mining, and also some obstacles that hindered the execution of part of the project, such as inviability of constructing an automated tool to process Data Mining; inability of specific hardware to process the required data; necessity of using new strategies in the creation of large ARFF files, to enable Weka tool to apply mining tasks. Further, this paper presents a tool for preprocessing and data transformation, specifically designed for the environment encountered. And as a result of mining are presented patterns found in the logs along with samples of possible interpretations. At last, a list of some opportunities for new papers is presented.porUniversidade Tecnológica Federal do ParanáMedianeiraTecnologia em Análise e Desenvolvimento de SistemasCDS/ISIS (Sistema de recuperação da informação)Recuperação da informaçãoLogarítmosCDS/ISIS (Information retrieval system)Information retrievalLogarithmsUso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeirainfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisMedianeiraMenezes, Paulo Lopes deValiati, Gustavo Rafaelreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPRinfo:eu-repo/semantics/openAccessTHUMBNAILMD_COADS_2012_2_04.pdf.jpgGenerated Thumbnailimage/jpeg1231http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13445/1/MD_COADS_2012_2_04.pdf.jpga03195812f8561482d6345934b9186a1MD51ORIGINALMD_COADS_2012_2_04.pdfapplication/pdf662679http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13445/2/MD_COADS_2012_2_04.pdfa3f0755fda6f18612551475d5b525845MD52LICENSElicense.txttext/plain1220http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13445/3/license.txt3cbdb04c3d289deb9dca129a3870a6e1MD53TEXTMD_COADS_2012_2_04.pdf.txtExtracted texttext/plain162156http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13445/4/MD_COADS_2012_2_04.pdf.txtaf958e6dccddf385e827745a9c56ae86MD541/134452020-11-16 12:44:50.891oai:repositorio.utfpr.edu.br:1/13445ICBOYSBxdWFsaWRhZGUgZGUgdGl0dWxhciBkb3MgZGlyZWl0b3MgZGUgYXV0b3IgZGEgcHVibGljYT8/bywgYXV0b3Jpem8gYSBVVEZQUiBhIHZlaWN1bGFyLCAKYXRyYXY/cyBkbyBQb3J0YWwgZGUgSW5mb3JtYT8/byBlbSBBY2Vzc28gQWJlcnRvIChQSUFBKSBlIGRvcyBDYXQ/bG9nb3MgZGFzIEJpYmxpb3RlY2FzIApkZXN0YSBJbnN0aXR1aT8/bywgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBkZSBhY29yZG8gY29tIGEgTGVpIG5vIDkuNjEwLzk4LCAKbyB0ZXh0byBkZXN0YSBvYnJhLCBvYnNlcnZhbmRvIGFzIGNvbmRpPz9lcyBkZSBkaXNwb25pYmlsaXphPz9vIHJlZ2lzdHJhZGFzIG5vIGl0ZW0gNCBkbyAKP1Rlcm1vIGRlIEF1dG9yaXphPz9vIHBhcmEgUHVibGljYT8/byBkZSBUcmFiYWxob3MgZGUgQ29uY2x1cz9vIGRlIEN1cnNvIGRlIEdyYWR1YT8/byBlIApFc3BlY2lhbGl6YT8/bywgRGlzc2VydGE/P2VzIGUgVGVzZXMgbm8gUG9ydGFsIGRlIEluZm9ybWE/P28gZSBub3MgQ2F0P2xvZ29zIEVsZXRyP25pY29zIGRvIApTaXN0ZW1hIGRlIEJpYmxpb3RlY2FzIGRhIFVURlBSPywgcGFyYSBmaW5zIGRlIGxlaXR1cmEsIGltcHJlc3M/byBlL291IGRvd25sb2FkLCB2aXNhbmRvIGEgCmRpdnVsZ2E/P28gZGEgcHJvZHU/P28gY2llbnQ/ZmljYSBicmFzaWxlaXJhLgoKICBBcyB2aWFzIG9yaWdpbmFpcyBlIGFzc2luYWRhcyBwZWxvKHMpIGF1dG9yKGVzKSBkbyA/VGVybW8gZGUgQXV0b3JpemE/P28gcGFyYSBQdWJsaWNhPz9vIGRlIApUcmFiYWxob3MgZGUgQ29uY2x1cz9vIGRlIEN1cnNvIGRlIEdyYWR1YT8/byBlIEVzcGVjaWFsaXphPz9vLCBEaXNzZXJ0YT8/ZXMgZSBUZXNlcyBubyBQb3J0YWwgCmRlIEluZm9ybWE/P28gZSBub3MgQ2F0P2xvZ29zIEVsZXRyP25pY29zIGRvIFNpc3RlbWEgZGUgQmlibGlvdGVjYXMgZGEgVVRGUFI/IGUgZGEgP0RlY2xhcmE/P28gCmRlIEF1dG9yaWE/IGVuY29udHJhbS1zZSBhcnF1aXZhZGFzIG5hIEJpYmxpb3RlY2EgZG8gQz9tcHVzIG5vIHF1YWwgbyB0cmFiYWxobyBmb2kgZGVmZW5kaWRvLiAKTm8gY2FzbyBkZSBwdWJsaWNhPz9lcyBkZSBhdXRvcmlhIGNvbGV0aXZhIGUgbXVsdGljP21wdXMsIG9zIGRvY3VtZW50b3MgZmljYXI/byBzb2IgZ3VhcmRhIGRhIApCaWJsaW90ZWNhIGNvbSBhIHF1YWwgbyA/cHJpbWVpcm8gYXV0b3I/IHBvc3N1YSB2P25jdWxvLgo=Repositório de PublicaçõesPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestopendoar:2020-11-16T14:44:50Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.pt_BR.fl_str_mv Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira
title Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira
spellingShingle Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira
Valiati, Gustavo Rafael
Tecnologia em Análise e Desenvolvimento de Sistemas
CDS/ISIS (Sistema de recuperação da informação)
Recuperação da informação
Logarítmos
CDS/ISIS (Information retrieval system)
Information retrieval
Logarithms
title_short Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira
title_full Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira
title_fullStr Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira
title_full_unstemmed Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira
title_sort Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira
author Valiati, Gustavo Rafael
author_facet Valiati, Gustavo Rafael
author_role author
dc.contributor.advisor1.fl_str_mv Menezes, Paulo Lopes de
dc.contributor.author.fl_str_mv Valiati, Gustavo Rafael
contributor_str_mv Menezes, Paulo Lopes de
dc.subject.cnpq.fl_str_mv Tecnologia em Análise e Desenvolvimento de Sistemas
topic Tecnologia em Análise e Desenvolvimento de Sistemas
CDS/ISIS (Sistema de recuperação da informação)
Recuperação da informação
Logarítmos
CDS/ISIS (Information retrieval system)
Information retrieval
Logarithms
dc.subject.por.fl_str_mv CDS/ISIS (Sistema de recuperação da informação)
Recuperação da informação
Logarítmos
CDS/ISIS (Information retrieval system)
Information retrieval
Logarithms
description O grande crescimento da capacidade de gerar, transmitir e armazenar dados em meios digitais, tem superado a capacidade humana de extração de conhecimento destes dados. A Mineração de Dados é o processo que surgiu nas últimas décadas, justamente com o objetivo de resolver o problema. Este trabalho apresenta a aplicação da Mineração de Dados, como estudo de caso, em uma grande quantidade de dados em logs, produzidos pelo Squid, em servidores de compartilhamento de Internet, a fim de extrair conhecimento requerido pelo administrador de redes. O trabalho aborda, de maneira detalhada, a realização das etapas da Mineração de Dados, e também alguns empecilhos que atrapalharam a execução de parte do projeto, como: inviabilidade de construção de uma ferramenta automatizada para o processo de Mineração de Dados; incapacidade de determinado hardware suportar processamento de dados requerido; necessidade do uso de novas estratégias na criação de arquivos ARFF grandes, para tornar possível a ferramenta Weka aplicar as tarefas de mineração. Ainda, este trabalho apresenta uma ferramenta de pré-processamento e transformação de dados, criada especificamente para o ambiente encontrado. Como resultados da mineração são apresentados padrões encontrados nos logs juntamente com amostras de interpretações possíveis. Por fim, são listadas algumas oportunidades de novos trabalhos.
publishDate 2013
dc.date.issued.fl_str_mv 2013-03-27
dc.date.accessioned.fl_str_mv 2020-11-16T14:44:50Z
dc.date.available.fl_str_mv 2020-11-16T14:44:50Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/bachelorThesis
format bachelorThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv VALIATI, Gustavo Rafael. Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira. 2013. 76 f. Trabalho de Conclusão de Curso (Graduação) – Universidade Tecnológica Federal do Paraná, Medianeira, 2013.
dc.identifier.uri.fl_str_mv http://repositorio.utfpr.edu.br/jspui/handle/1/13445
identifier_str_mv VALIATI, Gustavo Rafael. Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira. 2013. 76 f. Trabalho de Conclusão de Curso (Graduação) – Universidade Tecnológica Federal do Paraná, Medianeira, 2013.
url http://repositorio.utfpr.edu.br/jspui/handle/1/13445
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Medianeira
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Medianeira
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
bitstream.url.fl_str_mv http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13445/1/MD_COADS_2012_2_04.pdf.jpg
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13445/2/MD_COADS_2012_2_04.pdf
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13445/3/license.txt
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13445/4/MD_COADS_2012_2_04.pdf.txt
bitstream.checksum.fl_str_mv a03195812f8561482d6345934b9186a1
a3f0755fda6f18612551475d5b525845
3cbdb04c3d289deb9dca129a3870a6e1
af958e6dccddf385e827745a9c56ae86
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv
_version_ 1805923131855994880