Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira
Autor(a) principal: | |
---|---|
Data de Publicação: | 2013 |
Tipo de documento: | Trabalho de conclusão de curso |
Idioma: | por |
Título da fonte: | Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
Texto Completo: | http://repositorio.utfpr.edu.br/jspui/handle/1/13445 |
Resumo: | O grande crescimento da capacidade de gerar, transmitir e armazenar dados em meios digitais, tem superado a capacidade humana de extração de conhecimento destes dados. A Mineração de Dados é o processo que surgiu nas últimas décadas, justamente com o objetivo de resolver o problema. Este trabalho apresenta a aplicação da Mineração de Dados, como estudo de caso, em uma grande quantidade de dados em logs, produzidos pelo Squid, em servidores de compartilhamento de Internet, a fim de extrair conhecimento requerido pelo administrador de redes. O trabalho aborda, de maneira detalhada, a realização das etapas da Mineração de Dados, e também alguns empecilhos que atrapalharam a execução de parte do projeto, como: inviabilidade de construção de uma ferramenta automatizada para o processo de Mineração de Dados; incapacidade de determinado hardware suportar processamento de dados requerido; necessidade do uso de novas estratégias na criação de arquivos ARFF grandes, para tornar possível a ferramenta Weka aplicar as tarefas de mineração. Ainda, este trabalho apresenta uma ferramenta de pré-processamento e transformação de dados, criada especificamente para o ambiente encontrado. Como resultados da mineração são apresentados padrões encontrados nos logs juntamente com amostras de interpretações possíveis. Por fim, são listadas algumas oportunidades de novos trabalhos. |
id |
UTFPR-12_dfe13ea530f528d18813cd1d82ef212d |
---|---|
oai_identifier_str |
oai:repositorio.utfpr.edu.br:1/13445 |
network_acronym_str |
UTFPR-12 |
network_name_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
repository_id_str |
|
spelling |
2020-11-16T14:44:50Z2020-11-16T14:44:50Z2013-03-27VALIATI, Gustavo Rafael. Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira. 2013. 76 f. Trabalho de Conclusão de Curso (Graduação) – Universidade Tecnológica Federal do Paraná, Medianeira, 2013.http://repositorio.utfpr.edu.br/jspui/handle/1/13445O grande crescimento da capacidade de gerar, transmitir e armazenar dados em meios digitais, tem superado a capacidade humana de extração de conhecimento destes dados. A Mineração de Dados é o processo que surgiu nas últimas décadas, justamente com o objetivo de resolver o problema. Este trabalho apresenta a aplicação da Mineração de Dados, como estudo de caso, em uma grande quantidade de dados em logs, produzidos pelo Squid, em servidores de compartilhamento de Internet, a fim de extrair conhecimento requerido pelo administrador de redes. O trabalho aborda, de maneira detalhada, a realização das etapas da Mineração de Dados, e também alguns empecilhos que atrapalharam a execução de parte do projeto, como: inviabilidade de construção de uma ferramenta automatizada para o processo de Mineração de Dados; incapacidade de determinado hardware suportar processamento de dados requerido; necessidade do uso de novas estratégias na criação de arquivos ARFF grandes, para tornar possível a ferramenta Weka aplicar as tarefas de mineração. Ainda, este trabalho apresenta uma ferramenta de pré-processamento e transformação de dados, criada especificamente para o ambiente encontrado. Como resultados da mineração são apresentados padrões encontrados nos logs juntamente com amostras de interpretações possíveis. Por fim, são listadas algumas oportunidades de novos trabalhos.The large increase in capacity to generate, transmit and store data in digital format, has exceeded the human capacity of knowledge extraction of these data. The Data Mining is the process emerged in recent decades, precisely in order to solve the problem. This paper presents the application of Data Mining, as a case study, in a large amount of data in logs, generated by Squid, from Internet sharing servers, to extract knowledge required by the network administrator. The paper discusses, in detail, performing the steps of Data Mining, and also some obstacles that hindered the execution of part of the project, such as inviability of constructing an automated tool to process Data Mining; inability of specific hardware to process the required data; necessity of using new strategies in the creation of large ARFF files, to enable Weka tool to apply mining tasks. Further, this paper presents a tool for preprocessing and data transformation, specifically designed for the environment encountered. And as a result of mining are presented patterns found in the logs along with samples of possible interpretations. At last, a list of some opportunities for new papers is presented.porUniversidade Tecnológica Federal do ParanáMedianeiraTecnologia em Análise e Desenvolvimento de SistemasCDS/ISIS (Sistema de recuperação da informação)Recuperação da informaçãoLogarítmosCDS/ISIS (Information retrieval system)Information retrievalLogarithmsUso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeirainfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesisMedianeiraMenezes, Paulo Lopes deValiati, Gustavo Rafaelreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPRinfo:eu-repo/semantics/openAccessTHUMBNAILMD_COADS_2012_2_04.pdf.jpgGenerated Thumbnailimage/jpeg1231http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13445/1/MD_COADS_2012_2_04.pdf.jpga03195812f8561482d6345934b9186a1MD51ORIGINALMD_COADS_2012_2_04.pdfapplication/pdf662679http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13445/2/MD_COADS_2012_2_04.pdfa3f0755fda6f18612551475d5b525845MD52LICENSElicense.txttext/plain1220http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13445/3/license.txt3cbdb04c3d289deb9dca129a3870a6e1MD53TEXTMD_COADS_2012_2_04.pdf.txtExtracted texttext/plain162156http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13445/4/MD_COADS_2012_2_04.pdf.txtaf958e6dccddf385e827745a9c56ae86MD541/134452020-11-16 12:44:50.891oai:repositorio.utfpr.edu.br:1/13445ICBOYSBxdWFsaWRhZGUgZGUgdGl0dWxhciBkb3MgZGlyZWl0b3MgZGUgYXV0b3IgZGEgcHVibGljYT8/bywgYXV0b3Jpem8gYSBVVEZQUiBhIHZlaWN1bGFyLCAKYXRyYXY/cyBkbyBQb3J0YWwgZGUgSW5mb3JtYT8/byBlbSBBY2Vzc28gQWJlcnRvIChQSUFBKSBlIGRvcyBDYXQ/bG9nb3MgZGFzIEJpYmxpb3RlY2FzIApkZXN0YSBJbnN0aXR1aT8/bywgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBkZSBhY29yZG8gY29tIGEgTGVpIG5vIDkuNjEwLzk4LCAKbyB0ZXh0byBkZXN0YSBvYnJhLCBvYnNlcnZhbmRvIGFzIGNvbmRpPz9lcyBkZSBkaXNwb25pYmlsaXphPz9vIHJlZ2lzdHJhZGFzIG5vIGl0ZW0gNCBkbyAKP1Rlcm1vIGRlIEF1dG9yaXphPz9vIHBhcmEgUHVibGljYT8/byBkZSBUcmFiYWxob3MgZGUgQ29uY2x1cz9vIGRlIEN1cnNvIGRlIEdyYWR1YT8/byBlIApFc3BlY2lhbGl6YT8/bywgRGlzc2VydGE/P2VzIGUgVGVzZXMgbm8gUG9ydGFsIGRlIEluZm9ybWE/P28gZSBub3MgQ2F0P2xvZ29zIEVsZXRyP25pY29zIGRvIApTaXN0ZW1hIGRlIEJpYmxpb3RlY2FzIGRhIFVURlBSPywgcGFyYSBmaW5zIGRlIGxlaXR1cmEsIGltcHJlc3M/byBlL291IGRvd25sb2FkLCB2aXNhbmRvIGEgCmRpdnVsZ2E/P28gZGEgcHJvZHU/P28gY2llbnQ/ZmljYSBicmFzaWxlaXJhLgoKICBBcyB2aWFzIG9yaWdpbmFpcyBlIGFzc2luYWRhcyBwZWxvKHMpIGF1dG9yKGVzKSBkbyA/VGVybW8gZGUgQXV0b3JpemE/P28gcGFyYSBQdWJsaWNhPz9vIGRlIApUcmFiYWxob3MgZGUgQ29uY2x1cz9vIGRlIEN1cnNvIGRlIEdyYWR1YT8/byBlIEVzcGVjaWFsaXphPz9vLCBEaXNzZXJ0YT8/ZXMgZSBUZXNlcyBubyBQb3J0YWwgCmRlIEluZm9ybWE/P28gZSBub3MgQ2F0P2xvZ29zIEVsZXRyP25pY29zIGRvIFNpc3RlbWEgZGUgQmlibGlvdGVjYXMgZGEgVVRGUFI/IGUgZGEgP0RlY2xhcmE/P28gCmRlIEF1dG9yaWE/IGVuY29udHJhbS1zZSBhcnF1aXZhZGFzIG5hIEJpYmxpb3RlY2EgZG8gQz9tcHVzIG5vIHF1YWwgbyB0cmFiYWxobyBmb2kgZGVmZW5kaWRvLiAKTm8gY2FzbyBkZSBwdWJsaWNhPz9lcyBkZSBhdXRvcmlhIGNvbGV0aXZhIGUgbXVsdGljP21wdXMsIG9zIGRvY3VtZW50b3MgZmljYXI/byBzb2IgZ3VhcmRhIGRhIApCaWJsaW90ZWNhIGNvbSBhIHF1YWwgbyA/cHJpbWVpcm8gYXV0b3I/IHBvc3N1YSB2P25jdWxvLgo=Repositório de PublicaçõesPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestopendoar:2020-11-16T14:44:50Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false |
dc.title.pt_BR.fl_str_mv |
Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira |
title |
Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira |
spellingShingle |
Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira Valiati, Gustavo Rafael Tecnologia em Análise e Desenvolvimento de Sistemas CDS/ISIS (Sistema de recuperação da informação) Recuperação da informação Logarítmos CDS/ISIS (Information retrieval system) Information retrieval Logarithms |
title_short |
Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira |
title_full |
Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira |
title_fullStr |
Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira |
title_full_unstemmed |
Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira |
title_sort |
Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira |
author |
Valiati, Gustavo Rafael |
author_facet |
Valiati, Gustavo Rafael |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Menezes, Paulo Lopes de |
dc.contributor.author.fl_str_mv |
Valiati, Gustavo Rafael |
contributor_str_mv |
Menezes, Paulo Lopes de |
dc.subject.cnpq.fl_str_mv |
Tecnologia em Análise e Desenvolvimento de Sistemas |
topic |
Tecnologia em Análise e Desenvolvimento de Sistemas CDS/ISIS (Sistema de recuperação da informação) Recuperação da informação Logarítmos CDS/ISIS (Information retrieval system) Information retrieval Logarithms |
dc.subject.por.fl_str_mv |
CDS/ISIS (Sistema de recuperação da informação) Recuperação da informação Logarítmos CDS/ISIS (Information retrieval system) Information retrieval Logarithms |
description |
O grande crescimento da capacidade de gerar, transmitir e armazenar dados em meios digitais, tem superado a capacidade humana de extração de conhecimento destes dados. A Mineração de Dados é o processo que surgiu nas últimas décadas, justamente com o objetivo de resolver o problema. Este trabalho apresenta a aplicação da Mineração de Dados, como estudo de caso, em uma grande quantidade de dados em logs, produzidos pelo Squid, em servidores de compartilhamento de Internet, a fim de extrair conhecimento requerido pelo administrador de redes. O trabalho aborda, de maneira detalhada, a realização das etapas da Mineração de Dados, e também alguns empecilhos que atrapalharam a execução de parte do projeto, como: inviabilidade de construção de uma ferramenta automatizada para o processo de Mineração de Dados; incapacidade de determinado hardware suportar processamento de dados requerido; necessidade do uso de novas estratégias na criação de arquivos ARFF grandes, para tornar possível a ferramenta Weka aplicar as tarefas de mineração. Ainda, este trabalho apresenta uma ferramenta de pré-processamento e transformação de dados, criada especificamente para o ambiente encontrado. Como resultados da mineração são apresentados padrões encontrados nos logs juntamente com amostras de interpretações possíveis. Por fim, são listadas algumas oportunidades de novos trabalhos. |
publishDate |
2013 |
dc.date.issued.fl_str_mv |
2013-03-27 |
dc.date.accessioned.fl_str_mv |
2020-11-16T14:44:50Z |
dc.date.available.fl_str_mv |
2020-11-16T14:44:50Z |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
format |
bachelorThesis |
status_str |
publishedVersion |
dc.identifier.citation.fl_str_mv |
VALIATI, Gustavo Rafael. Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira. 2013. 76 f. Trabalho de Conclusão de Curso (Graduação) – Universidade Tecnológica Federal do Paraná, Medianeira, 2013. |
dc.identifier.uri.fl_str_mv |
http://repositorio.utfpr.edu.br/jspui/handle/1/13445 |
identifier_str_mv |
VALIATI, Gustavo Rafael. Uso de técnicas e ferramentas de mineração de dados na extração de informações sobre o comportamento de uso dos recursos da internet na UTFPR - Câmpus Medianeira. 2013. 76 f. Trabalho de Conclusão de Curso (Graduação) – Universidade Tecnológica Federal do Paraná, Medianeira, 2013. |
url |
http://repositorio.utfpr.edu.br/jspui/handle/1/13445 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Medianeira |
publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Medianeira |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) instname:Universidade Tecnológica Federal do Paraná (UTFPR) instacron:UTFPR |
instname_str |
Universidade Tecnológica Federal do Paraná (UTFPR) |
instacron_str |
UTFPR |
institution |
UTFPR |
reponame_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
collection |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
bitstream.url.fl_str_mv |
http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13445/1/MD_COADS_2012_2_04.pdf.jpg http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13445/2/MD_COADS_2012_2_04.pdf http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13445/3/license.txt http://repositorio.utfpr.edu.br:8080/jspui/bitstream/1/13445/4/MD_COADS_2012_2_04.pdf.txt |
bitstream.checksum.fl_str_mv |
a03195812f8561482d6345934b9186a1 a3f0755fda6f18612551475d5b525845 3cbdb04c3d289deb9dca129a3870a6e1 af958e6dccddf385e827745a9c56ae86 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR) |
repository.mail.fl_str_mv |
|
_version_ |
1805923131855994880 |