Towards the development of an autonomous system for driver's drowsiness detection and alertness using a high-fidelity driving simulator

Abstract

Precise quantification of microsleep (MS) resulting from sleep-disorder and drowsiness rising from insufficient rest in obstructive sleep apnea (OSA) drivers is crucial for preventing accidents. In this work, we propose three methodologies: (i) quantifying MS episodes by correlating driving simulator events with electroencephalography (EEG) patterns; (ii) detecting drowsiness by associating EEG patterns with visual-based scoring through adaptive thresholding for eye-aspect-ratio using OpenCV for face detection and Dlib for eye detection from video recordings; and (iii) optimizing EEG channels and features for their usability in wearable devices. We also propose an autonomous real-time drowsiness detection and alert system for actual bus drivers, aiming to alert drivers through vibrations produced by an electro-pneumatic vibrator located at the back side of the driver's seat and integrated with the existing tire inflation system. Fifty drivers diagnosed with OSA participated in a 50-minute driving simulation wearing six-channel EEG electrodes, while a frontal camera recorded their facial expressions. The first technique identified 970 out-of-road (OOR) events where the wheel and boundary contact lasted ≥ 1 second, and 1020 on-road (OR) events where the wheel and boundary disconnection lasted ≥ 1 second. Applying discrete wavelet transform, theta/alpha ratios were calculated for each event. We classified OOR events with higher theta/alpha ratio compared to neighboring OR episodes as true MS and those with lower ratio as false MS. Comparative analysis focused on frontal brain matched 791 of 970 OOR events with true MS episodes, outperforming other brain regions. Extending our analysis to all channels showed an even higher matching, correlating 923 (95.15%) of 970 OOR events with true MS episodes. We also quantified MS duration, with 95% of total episodes lasting between 1 to 15 seconds, and pioneered a robust correlation (r = 0.8913, p<0.001) between maximum drowsiness level and MS density. The second technique identified 453 drowsy (PERCLOS ≥ 0.3 or CLOSDUR ≥ 2 seconds) and 474 wakeful (PERCLOS < 0.3 and CLOSDUR < 2 seconds) episodes. By applying discrete wavelet transform, we derived ten EEG features and correlated them with visual-based episodes using various comparative criteria. We assessed that the theta-to-alpha ratio exhibited robust mapping (94.7%) with visual-based scoring, followed by the delta-to-alpha ratio (87.2%) and delta-to-theta ratio (86.7%) while considering all channels together. Notably, the frontal area (86.4%) and channel F4 (75.4%) aligned most episodes with theta-to-alpha-ratio, while the frontal, occipital regions, particularly individual channels F4 and O2, displayed superior alignment across multiple features. The third technique normalized ten EEG features for each visual-based episode, then computed seven different thresholding techniques to identify the most consistent method across subjects. Episodes were classified as either drowsy or wakeful based on feature-dependent criteria, evaluating whether their normalized values were above or below a specific threshold. We paired the EEG features into 45 combinations to determine the ideal pair in classifying each episode, in line with visual scoring. Among these, the pairing of PSD alpha and PSD theta in channels F4 and O2 achieved average coverages of 96.1% and 95%, respectively, with corresponding accuracies of 95.4% and 94.7%. These coverages slightly surpassed the results obtained using six channels and a single feature, with an increase of 1.47% for F4 and 0.32% for O2. Lastly, we presented a novel approach towards the development of real-time drowsiness detection and alert system for an actual bus. In conclusion, our work could potentially be employed to assess fitness-to-drive in OSA patients using a driving simulator, reduce hardware and computational demands, and pave the way for an effective real-time drowsiness detection and alert system for actual bus drivers.

Obstrüktif uyku apnesi (OSA) olan sürücülerde uyku bozukluğu ve yetersiz dinlenme sonucu ortaya çıkan uyuşukluğun neden olduğu mikro uykunun (MS) hassas ölçümü, kazaların önlenmesi açısından çok önemlidir. Bu doğrultuda üç metodoloji öneriyoruz: (i) sürüş simülatörü verilerini elektroensefalografi (EEG) modelleri ile ilişkilendirerek MS epizodlarının ölçülmesi; (ii) yüz tespiti için OpenCV ve video kayıtlarından göz tespiti için Dlib kullanılması, göz-en-boy oranının uyarlanabilir eşikleme yolu ile hesaplanması ve EEG modellerini görsel tabanlı puanlamayla ilişkilendirerek uyuşukluğun tespit edilmesi; ve (iii) giyilebilir sistemlerde kullanılmak üzere EEG kanallarının ve özniteliklerinin optimize edilmesi. Ayrıca, gerçek otobüs sürücüleri için, sürücü koltuğunun arka tarafında bulunan ve mevcut lastik şişirme sistemi ile entegre olan bir elektro-pnömatik vibratörün ürettiği titreşimler aracılığıyla sürücüleri uyarmayı amaçlayan, otonom, gerçek zamanlı uykululuk tespit ve uyarı sistemi de öneriyoruz. Çalışmamızda, OSA teşhisi konan elli sürücü, altı kanallı EEG elektrotları barındıran 50 dakikalık bir sürüş simülasyonuna katılırken, bir ön kamera ile yüz ifadeleri kaydedildi. İlk teknik, tekerlek ve şerit temasının ≥ 1 saniye sürdüğü 970 yol dışı (OOR) olayı ve tekerlek ve şerit bağlantısının kesilmesinin ≥ 1 saniye sürdüğü 1020 yol içi (OR) olayı tanımladı. Analizlerimizde, ayrık dalgacık dönüşümü uygulayarak her olay için teta/alfa oranlarını hesapladık. Komşu OR epizotlarına kıyasla daha yüksek teta/alfa oranına sahip OOR olaylarını gerçek MS, daha düşük orana sahip olanları ise yanlış MS olarak sınıflandırdık. Ön beyne odaklanan karşılaştırmalı analiz, 970 OOR olayından 791'ini gerçek MS epizodlarıyla eşleştirerek diğer beyin bölgelerinden daha iyi performans gösterdi. Analizimizi tüm kanallara genişlettiğimizde, 970 OOR olayının 923'ünü (%95,15) gerçek MS epizodlarıyla ilişkilendirerek daha da yüksek bir eşleşme elde ettik. Ayrıca toplam epizotların %95'inin 1 ila 15 saniye arasında sürdüğü MS süresini de ölçtük ve maksimum uyuşukluk düzeyi ile MS yoğunluğu arasında güçlü bir korelasyon (r = 0,8913, p<0,001) gözlemledik. İkinci teknik, 453 uykulu (PERCLOS ≥ 0,3 veya CLOSDUR ≥ 2 saniye) ve 474 uyanık (PERCLOS < 0,3 ve CLOSDUR < 2 saniye) epizodu tanımladı. Ayrık dalgacık dönüşümü uygulayarak on EEG özniteliği türettik ve bunları çeşitli karşılaştırma kriterleri kullanarak görsel tabanlı epizodlarla ilişkilendirdik. Tüm kanalları bir arada kullandığımızda, teta-alfa oranının görsel tabanlı puanlamayla güçlü ilişki (%94,7) gösterdiğini, bunu delta-alfa oranının (%87,2) ve delta-teta oranının (%86,7) izlediğini değerlendirdik. Özellikle, frontal (%86,4) ve F4 kanalı (%75,4) kullanıldığında çoğu epizod teta-alfa oranı ile yüksek ilişki gösterirken; frontal ve oksipital bölgeler (özellikle bireysel F4 ve O2 kanalları), birçok öznitelikte üstün ilişki sergiledi. Üçüncü teknikte, her görsel tabanlı epizod için on EEG özelliği normalize edildi, ardından katılımcılar arasında en tutarlı yöntemi belirlemek için yedi farklı eşikleme tekniği hesaplandı. Epizodlar, özelliğe bağlı kriterlere göre uykulu veya uyanık olarak sınıflandırıldı ve normalleştirilmiş değerlerin belirli bir eşiğin üstünde veya altında olup olmadığı incelendi. Her segmenti görsel puanlamaya göre sınıflandırmak için ideal çifti belirlemek amacıyla EEG özelliklerini 45 eşleştirilmiş kombinasyon halinde birleştirdik. Bunlar arasında, F4 ve O2 kanallarındaki PSD alfa ve PSD teta kombinasyonu, sırasıyla %96,1 ve %95'lik ortalama kapsama elde etti ve karşılık gelen doğruluk oranı %95,4 ve %94,7 oldu. Bu kapsamlar, F4 için %1,47 ve O2 için %0,32'lik bir artışla, altı kanal ve tek bir özellik kullanılarak elde edilen sonuçlara kıyasla kısmen daha yüksekti. Son olarak, gerçek bir otobüs için gerçek zamanlı uykululuk tespit ve uyarı sisteminin geliştirilmesine yönelik yeni bir yaklaşım sunduk. Sonuç olarak, çalışmamız, bir sürüş simülatörü kullanarak OSA hastalarında araç sürmeye uygunluğu değerlendirmek, donanım ve hesaplama taleplerini azaltmak ve gerçek otobüs sürücüleri için etkili bir gerçek zamanlı uykululuk tespiti ve uyarı sisteminin önünü açmak için potansiyel olarak kullanılabilir.