User behavior analytics in the contact center: Insider threat assessment and fraud detection
| Autor(a) principal: | |
|---|---|
| Data de Publicação: | 2021 |
| Tipo de documento: | Dissertação |
| Idioma: | eng |
| Título da fonte: | Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
| Texto Completo: | http://hdl.handle.net/10316/96092 |
Resumo: | Dissertação de Mestrado em Segurança Informática apresentada à Faculdade de Ciências e Tecnologia |
| id |
RCAP_e96e42677de0a716272617825e890c80 |
|---|---|
| oai_identifier_str |
oai:estudogeral.uc.pt:10316/96092 |
| network_acronym_str |
RCAP |
| network_name_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
| repository_id_str |
7160 |
| spelling |
User behavior analytics in the contact center: Insider threat assessment and fraud detectionUser behavior analytics no contact center: Avaliação de ameaças internas e deteção de fraudeUEBAInteligência artificialMachine learningDeteção de anomaliasCibersegurançaUEBAArtificial inteligenceMachine learningAnomaly detectionCibersecurityDissertação de Mestrado em Segurança Informática apresentada à Faculdade de Ciências e TecnologiaCom o crescimento contínuo do cibercrime em anos recentes, a necessidade de estratégias de cibersegurança inovadoras e eficazes tornam-se cada vez mais importantes para todo o tipo de organizações. Fundada em 2011, a Talkdesk está a desenvolver um produto de contact-center na nuvem, que chegou aos 1800 clientes em 2020. As carreiras em contactcenter são conhecidas pela precariedade e alta rotatividade de agentes que, agravada pela tendência de trabalho remoto imposta pela pandemia de COVID-19, aumenta o risco de ocorrência de fraude.As abordagens de cibersegurança tipicamente adotadas pelas organizações, como gestão e correlação de eventos de segurança (SIEM), têm o seu foco em ameaças externas, através de um motor de regras que resulta em alertas indicativos de potenciais incidentes. No entanto, esses mecanismos têm a limitação da incapacidade de detetar modelos de ameaça inovadores, razão pelo qual abordagens que utilizam inteligência artificial são necessárias. A análise comportamental de utilizadores e entidades (UEBA) é uma solução emergente utilizada para complementar as estratégias de segurança de uma organização, que utiliza machine learning e, mais especificamente, algoritmos de deteção de anomalias, para criar perfis de comportamento normal de utilizadores e entidades. Desvios significativos a esses perfis são posteriormente registados, potencialmente correspondentes a ameaças.O principal objetivo deste trabalho consiste em avaliar a aplicabilidade de uma framework de UEBA para proteger os clientes da Talkdesk, através da monitorização do staff dos contact-centers para detetar ameaças relacionadas com o roubo de dados sensíveis, ciberfraude, abuso interno, entre outros. Começámos o trabalho pela exploração das fontes de dados mais apropriadas (para UEBA) disponíveis, e pela definição de cenários de ameaça, seguido da obtenção dos dados e implementação de pipelines de transformação, para converter dados os dados originais num formato adequado para os algoritmos de deteção de anomalias. De seguida, procedemos a uma análise exploratória dos dados, bem como seleção de features, e decidimos quais os algoritmos de deteção de anomalias a utilizar, bem como a estratégia de validação a implementar. Criámos um dataset artificial, através de conhecimento de domínio, e definimos parâmetros para variar (período de treino, feature set, contaminação), que aplicámos com 5 algoritmos distintos. Seguidamente, avaliámos cada combinação de parâmetros utilizando métricas de classificação supervisionada, com os algoritmos autoencoder e PCA a registar o F1-score mais alto: 0.97 e 0.95, respetivamente. Também avaliámos 3 métodos de interpretabilidade distintos, para explicar as anomalias reportadas.Por fim, fizémos deploy da framework utilizando PCA e um mês de dados de 2 clientes, num ambiente de staging, registando um total de 76 anomalias causadas por 45 agentes distintos, com 67 verdadeiros positivos e 9 falsos positivos. Nós acreditamos que a framework está preparada para produção, requerendo apenas pequenos ajustes no algoritmo de interpretabilidade e uma estratégia para suprimir anomalias similares a outras anteriores, reportadas como falsos positivos através de feedback dos clientes.With the continuous growth of cyber-crime in the past few years, the need for innovative and effective cybersecurity strategies is fundamental for every organization. Founded in 2011, Talkdesk is building a cloud-based contact-center product, which reached more than 1800 customers in 2020. Contact-center jobs are known to be precarious and with high turnover rates and, along with the ongoing trend of working from home posed by the pandemic of COVID-19, there is an increased risk concerning the likelihood of fraud by an insider actor (in the case, a contact-center agent).Typical cybersecurity controls adopted by organizations, such as security information event management (SIEM), tend to focus on external threats, using rule-based matching mechanisms to create alerts on potential incidents. However, such mechanisms are unable to detect novel threat scenarios, reason why new approaches are necessary, such as those utilising artificial intelligence. User and entity behavior analytics (UEBA) is an emerging solution to complement the security controls of an organization, which leverages machine learning and, more specifically, anomaly detection, to create baselines of normal behavior of users or entities and attempts to detect significant deviations from those baselines, which could represent threats.The main goal of this work consists in assessing the viability of using a UEBA framework to protect the customers of Talkdesk, with which contact-center staff would be monitored with the objective of detecting threats related to sensitive information theft, cyber fraud, insider abuse, and others. To achieve this, we started by exploring the most appropriate raw data sources (for UEBA) available and defining threat scenarios to tackle, followed by obtaining the data and implementing transformation pipelines to convert raw data into a format suitable for anomaly detection. We proceeded with exploratory data analysis and feature engineering and decided on the appropriate anomaly detection algorithms to evaluate and the validation strategy to use. We created a labeled dataset with domain knowledge expertise, defined several settings to vary (baseline period, feature set, contamination), and applied them with 5 different algorithms. We evaluated each combination of the settings defined using supervised classification metrics, with the autoencoder and PCA achieving the highest F1-scores: 0.97 and 0.95, respectively. We also evaluated 3 different interpretability methods, to explain the anomalies reported.Finally, we deployed the framework using PCA and 1 month of real data from 2 clients, in a staging environment, registering a total of 76 anomalies incurred by 45 different agents, with 67 true positives and 9 false positives. We believe the framework is ready for production, requiring minor adjustments on the interpretability algorithm and a strategy to suppress anomalies similar to past ones reported as false positives through feedback from the clients.2021-07-192023-07-19T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://hdl.handle.net/10316/96092http://hdl.handle.net/10316/96092TID:202778355engCardoso, Nuno André de Matos Lopesinfo:eu-repo/semantics/embargoedAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-10-27T11:02:02Zoai:estudogeral.uc.pt:10316/96092Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T21:14:26.528603Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse |
| dc.title.none.fl_str_mv |
User behavior analytics in the contact center: Insider threat assessment and fraud detection User behavior analytics no contact center: Avaliação de ameaças internas e deteção de fraude |
| title |
User behavior analytics in the contact center: Insider threat assessment and fraud detection |
| spellingShingle |
User behavior analytics in the contact center: Insider threat assessment and fraud detection Cardoso, Nuno André de Matos Lopes UEBA Inteligência artificial Machine learning Deteção de anomalias Cibersegurança UEBA Artificial inteligence Machine learning Anomaly detection Cibersecurity |
| title_short |
User behavior analytics in the contact center: Insider threat assessment and fraud detection |
| title_full |
User behavior analytics in the contact center: Insider threat assessment and fraud detection |
| title_fullStr |
User behavior analytics in the contact center: Insider threat assessment and fraud detection |
| title_full_unstemmed |
User behavior analytics in the contact center: Insider threat assessment and fraud detection |
| title_sort |
User behavior analytics in the contact center: Insider threat assessment and fraud detection |
| author |
Cardoso, Nuno André de Matos Lopes |
| author_facet |
Cardoso, Nuno André de Matos Lopes |
| author_role |
author |
| dc.contributor.author.fl_str_mv |
Cardoso, Nuno André de Matos Lopes |
| dc.subject.por.fl_str_mv |
UEBA Inteligência artificial Machine learning Deteção de anomalias Cibersegurança UEBA Artificial inteligence Machine learning Anomaly detection Cibersecurity |
| topic |
UEBA Inteligência artificial Machine learning Deteção de anomalias Cibersegurança UEBA Artificial inteligence Machine learning Anomaly detection Cibersecurity |
| description |
Dissertação de Mestrado em Segurança Informática apresentada à Faculdade de Ciências e Tecnologia |
| publishDate |
2021 |
| dc.date.none.fl_str_mv |
2021-07-19 2023-07-19T00:00:00Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10316/96092 http://hdl.handle.net/10316/96092 TID:202778355 |
| url |
http://hdl.handle.net/10316/96092 |
| identifier_str_mv |
TID:202778355 |
| dc.language.iso.fl_str_mv |
eng |
| language |
eng |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/embargoedAccess |
| eu_rights_str_mv |
embargoedAccess |
| dc.source.none.fl_str_mv |
reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação instacron:RCAAP |
| instname_str |
Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
| instacron_str |
RCAAP |
| institution |
RCAAP |
| reponame_str |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
| collection |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) |
| repository.name.fl_str_mv |
Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação |
| repository.mail.fl_str_mv |
|
| _version_ |
1799134042045546496 |