Fatigue and drowsiness detection using inertial sensors and electrocardiogram

Detalhes bibliográficos
Autor(a) principal: Cerca, António Jorge Janicas
Data de Publicação: 2018
Tipo de documento: Dissertação
Idioma: eng
Título da fonte: Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
Texto Completo: http://hdl.handle.net/10400.21/10165
Resumo: Dissertação realizada no âmbito de trabalho final de mestrado para a obtenção de grau de mestre em Engenharia Electrónica e Telecomunicações
id RCAP_9f5da706430f7455eeaff6f51e899227
oai_identifier_str oai:repositorio.ipl.pt:10400.21/10165
network_acronym_str RCAP
network_name_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository_id_str 7160
spelling Fatigue and drowsiness detection using inertial sensors and electrocardiogramECGBLEAccelerometerAcelerómetroDrowsinessSonolênciaFatigueFadigaCompressionCompressãoMachine learningAprendizagem automáticaDissertação realizada no âmbito de trabalho final de mestrado para a obtenção de grau de mestre em Engenharia Electrónica e TelecomunicaçõesThe interest in monitoring a driver’s performance has increased in the past years in order to make the roads safer both for drivers and pedestrians. With this thinking in mind, it arises the idea of developing a system to monitor driver’s fatigue and drowsiness to alert him, if needed, about his psychological and physical states. This dissertation is based on the CardioWheel system, developed by CardioID, and consists in monitoring the person’s ECG signal and to record the motion of the steering wheel during the journey. The ECG signal is extracted with dry-electrodes placed in a conductive leather covering the steering wheel that can sense the electrical signal caused by the heartbeat of the person while having the hands on the wheel. The steering wheel movement monitoring is performed with the help of a three-axis accelerometer placed in the middle of the steering wheel that records the proper acceleration variations while moving the steering wheel. With those accelerations it is possible to calculate the steering wheel rotation angle during all the journey. The amount of data acquired with this system undergoes a compression stage for transmission with the goal of reducing the necessary bandwidth. From the evaluated techniques for data compression, it was possible to conclude that the hybrid method using Linear Predictive Coding and Lempel-Ziv-Welch is the lossless technique with the highest Compression Ratio. However, the hybrid technique using amplitude scaling e DWT is the lossy method with the highest Compression Ratio and a reduced RMSE. The transmission of the compressed data is done via Bluetooth® Low Energy, available in the CardioWheel system, with an exclusive profile developed for this dissertation. This profile has the ability to transmit the ECG and accelerometer data in real time. To detect if the driver is becoming drowsy, were evaluated machine learning algorithms to detect fatigue and drowsiness patterns according to the received ECG and accelerometer data from the steering wheel. Many features were extracted to describe the main characteristics from both signals and, from all the tested techniques, the Support Vector Machine technique proved to be the best classification method with the higher accuracy in classification. With these tested results, it could be possible to implement an alarmistic system, to warn the driver about his psychological and physical states, increasing the safety in the roads.O interesse em monitorizar os condutores dos veículos durante a sua condução tem vindo a aumentar ao longo dos anos, com o objectivo de tornar as estradas mais seguras para condutores e peões. Com este pensamento, surgiu a ideia de desenvolver um sistema capaz de monitorizar a fadiga e a sonolência do condutor e, se necessário, alertá-lo sobre o seu estado físico e psicológico. O ADAS, conhecido como sendo um sistema de assistência avançada para os condutores, é um sistema que monitoriza o desempenho e o comportamento do automóvel, bem como as condições físicas e psicológicas do condutor. Este sistema pode ter um comportamento passivo, alertando os condutores para situações de perigo eminente para que o condutor consiga evitar esses perigos. O LDW, ou aviso de mudança de faixa, é capaz de alertar o condutor de uma saída involuntária de faixa e o FCW, ou aviso de colisão frontal, consegue alertar o condutor de uma colisão eminente, tendo em conta o veículo frontal. Por outro lado, o ADAS consegue concretizar acções de forma assegurar a segurança dos passageiros e dos peões. O AEB, ou travagem de emergência automática, identifica uma colisão eminente e trava sem intervenção do conduto e o LKA, ou assistente de manutenção de faixa, que movimenta o veículo para que este não saia da faixa de rodagem. Esta dissertação é baseada no projecto CardioWheel, desenvolvido pela empresa CardioID, e consiste na monitorização do sinal cardíaco do condutor e na gravação dos movimentos realizados pelo volante do veículo durante a condução. O sinal cardíaco, conhecido como ECG, é extraído através de eléctrodos secos fixados numa capa em pele colocada no volante, que conseguem captar o sinal eléctrico provocado pelo batimento cardíaco enquanto o condutor estiver com as mãos no volante. O controlo dos movimentos do volante, ou SWA, é conseguido através de um acelerómetro de 3 eixos colocado no centro do volante que grava as variações da aceleração instantânea enquanto o condutor movimenta o volante. Através dessas acelerações é possível calcular-se o ângulo de rotação do volante durante todo o percurso. Os dados adquiridos de ECG e SWA geram uma enorme quantidade de informação que tem que ser codificada de forma a reduzir a largura de banda necessária à transmissão. Técnicas no domínio do tempo, como o AZTEC, TP e o CORTES, estão bem documentadas como boas técnicas para compressão de sinal ECG onde o principal objectivo é a obtenção da pulsação cardíaca. Dadas as exigências do projecto, concluiu-se que estes métodos não seriam os melhores para preservar as características principais do sinal de forma a obter-se padrões de fadiga e sonolência. Outros métodos de codificação com e sem perdas foram testados tanto para compressão de sinal ECG como para SWA e pode-se concluir que o método híbrido de Codificação Linear Preditiva com a técnica Lempel-Ziv-Welch é o método sem perdas em que se obteve maior rácio de compressão. Por outro lado, outro método hibrido utilizando escalamento de amplitude com DWT, provou ser o método com perdas com maior rácio de compressão onde o erro quadrático médio é reduzido. A transmissão da informação comprimida é assegurada através de um módulo BLE, presente no CardioWheel, no entanto, foi possível concluir que outras tecnologias como ZigBee ou ANT seriam igualmente compatíveis com o propósito do projecto. Foi desenvolvido especificamente para este projecto um perfil BLE com a capacidade de transmitir a informação do sinal ECG e do acelerómetro em tempo real. Para detectar se o condutor está a apresentar sinais de fadiga ou sonolência, foram testados vários algoritmos de aprendizagem automática que, de acordo com a informação ECG e do acelerómetro enviada pelo volante, conseguem detectar esses padrões. A escala KSS, é uma escala subjectiva que identifica o nível de sonolência de uma pessoa e que permite a classificação do nível de sonolência do condutor. Para construir um algoritmo de inteligência artificial é necessário extrair-se características dos sinais a interpretar. Essas características têm que descrever o sinal de forma precisa para que os algoritmos de aprendizagem automática consigam interpretar e classificar cada sinal da forma adequada. Características como ritmo cardíaco ou amplitude da onda R são exemplos de características utilizadas para descrever o sinal ECG. Características como tempo com o volante estático e aceleração média são exemplos de características utilizadas para descrever o sinal de SWA. Para além das características, um algoritmo de aprendizagem automática necessita de uma base de dados que consiga cobrir todas as situações possíveis para que o algoritmo, olhando para os dados inseridos, consiga detectar os padrões nas características para cada resultado final possível. Métodos de regressão foram implementados de forma e testar o seu desempenho para um problema de classificação, no entanto, não provaram ser os melhores métodos para essa abordagem. De todas as técnicas de classificação testadas, o método de SVM, ou máquina de vectores de suporte, provou ser o que obtém melhores resultados de classificação. Com os resultados obtidos será possível implementar-se um sistema de alarmística que consiga avisar o condutor sobre o seu estado físico e psicológico, aumentando assim a segurança rodoviária.Instituto Superior de Engenharia de LisboaLourenço, André RibeiroFerreira, Artur JorgeRCIPLCerca, António Jorge Janicas2019-06-17T18:33:30Z2018-12-122018-12-12T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://hdl.handle.net/10400.21/10165TID:202255166engCERCA, António Jorge Janicas - Fatigue and drowsiness detection using inertial sensors and electrocardiogram. Lisboa: Instituto Superior de Engenharia de Lisboa, 2018. Dissertação de mestrado.info:eu-repo/semantics/openAccessreponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãoinstacron:RCAAP2023-08-03T09:59:47Zoai:repositorio.ipl.pt:10400.21/10165Portal AgregadorONGhttps://www.rcaap.pt/oai/openaireopendoar:71602024-03-19T20:18:38.313193Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informaçãofalse
dc.title.none.fl_str_mv Fatigue and drowsiness detection using inertial sensors and electrocardiogram
title Fatigue and drowsiness detection using inertial sensors and electrocardiogram
spellingShingle Fatigue and drowsiness detection using inertial sensors and electrocardiogram
Cerca, António Jorge Janicas
ECG
BLE
Accelerometer
Acelerómetro
Drowsiness
Sonolência
Fatigue
Fadiga
Compression
Compressão
Machine learning
Aprendizagem automática
title_short Fatigue and drowsiness detection using inertial sensors and electrocardiogram
title_full Fatigue and drowsiness detection using inertial sensors and electrocardiogram
title_fullStr Fatigue and drowsiness detection using inertial sensors and electrocardiogram
title_full_unstemmed Fatigue and drowsiness detection using inertial sensors and electrocardiogram
title_sort Fatigue and drowsiness detection using inertial sensors and electrocardiogram
author Cerca, António Jorge Janicas
author_facet Cerca, António Jorge Janicas
author_role author
dc.contributor.none.fl_str_mv Lourenço, André Ribeiro
Ferreira, Artur Jorge
RCIPL
dc.contributor.author.fl_str_mv Cerca, António Jorge Janicas
dc.subject.por.fl_str_mv ECG
BLE
Accelerometer
Acelerómetro
Drowsiness
Sonolência
Fatigue
Fadiga
Compression
Compressão
Machine learning
Aprendizagem automática
topic ECG
BLE
Accelerometer
Acelerómetro
Drowsiness
Sonolência
Fatigue
Fadiga
Compression
Compressão
Machine learning
Aprendizagem automática
description Dissertação realizada no âmbito de trabalho final de mestrado para a obtenção de grau de mestre em Engenharia Electrónica e Telecomunicações
publishDate 2018
dc.date.none.fl_str_mv 2018-12-12
2018-12-12T00:00:00Z
2019-06-17T18:33:30Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10400.21/10165
TID:202255166
url http://hdl.handle.net/10400.21/10165
identifier_str_mv TID:202255166
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv CERCA, António Jorge Janicas - Fatigue and drowsiness detection using inertial sensors and electrocardiogram. Lisboa: Instituto Superior de Engenharia de Lisboa, 2018. Dissertação de mestrado.
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Instituto Superior de Engenharia de Lisboa
publisher.none.fl_str_mv Instituto Superior de Engenharia de Lisboa
dc.source.none.fl_str_mv reponame:Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
instname:Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron:RCAAP
instname_str Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
instacron_str RCAAP
institution RCAAP
reponame_str Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
collection Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos)
repository.name.fl_str_mv Repositório Científico de Acesso Aberto de Portugal (Repositórios Cientìficos) - Agência para a Sociedade do Conhecimento (UMIC) - FCT - Sociedade da Informação
repository.mail.fl_str_mv
_version_ 1799133451027218432

Registros relacionados