Self-supervised prediction contrast time frequency for industrial fault detection

Abstract

Industrial informatics produce vast data, but fault detection is hindered by dynamic processes and non-linear interactions. Deep learning and machine learning help, but sensor errors, transmission failures, and scarce labels remain issues. Self-supervised learning (SSL) uses unlabeled data to train models and generate labels. Prediction contrast learning, a key SSL method, preserves temporal patterns, making it ideal for time-series data while avoiding constant parameter tuning required by traditional methods. To tackle fault detection task, this thesis proposes a novel self-supervised learning architecture using prediction contrast learning to enhance fault detection (FD) in industrial settings. Our approach integrates time and frequency domain information to capture crucial temporal dependencies and improve model robustness. The key contributions of this work include: the novel combination of time-frequency information in SSL, the first application of prediction contrast learning for FD, a complex network analysis for real-time performance and scalability, and an extensive evaluation including ablation studies. To address the challenges of data scarcity and enhance fault detection accuracy in complex environments, our proposed model incorporates data transformations that improve robustness while preserving essential temporal relationships for time series analysis. We evaluated our approach using the Tennessee Eastman Process (TEP) benchmark datasets, including both Ricker and Rieth versions, which are widely recognized standards for testing FD systems in industrial processes. We also evaluate our model in Secure Water Treatment (SWaT) and Water Distribution (WADI) dataset, which contain anomalies such as intentional attack scenarios injected into the water management system. Experimental results on the TEP datasets demonstrate that our approach significantly outperforms existing benchmark models, achieving a True Positive Rate (TPR) of 92.04% and reducing the Average Detection Delay(ADD) to 22.18 steps, Correct Diagnosis Rate (CDR) of 97.62% effectively addressing data scarcity challenges and enhancing fault detection accuracy in complex industrial environments. Similar outperforming results have also been observed in other benchmark datasets. To ensure practical applicability, we conduct complex network topology analysis to evaluate our model's real-time performance and scalability in both cloud and edge computing environments, considering industrial networks as complex systems with non-trivial topological features. This analysis provides a comprehensive comparison of latency differences between edge and cloud computing architectures, addressing a critical gap in the fault detection literature. The proposed SSL architecture, combined with our comprehensive network analysis, offers a robust solution for FD in industrial chemical facilities. By integrating advanced deep learning techniques with practical considerations for implementation in various computing environments, our work paves the way for more efficient and reliable fault detection systems in industry.

Endüstriyel bilişim, büyük miktarda veri üretir, ancak hata tespiti dinamik süreçler ve doğrusal olmayan etkileşimler nedeniyle zorluklarla karşılaşır. Derin öğrenme ve makine öğrenimi bu konuda yardımcı olsa da, sensör hataları, iletim hataları ve sınırlı etiketli veriler gibi sorunlar devam etmektedir. Özdenetimli öğrenme (SSL), etiketlenmemiş verileri kullanarak modelleri eğitip etiketler oluşturabilen bir yaklaşımdır. SSL'nin önemli bir yöntemi olan tahmin karşıtlığı öğrenme, zaman serisi verilerindeki zamansal ilişkileri koruyarak parametre ayarlamaya gerek kalmadan daha verimli bir çözüm sunar. Bu tezde, endüstriyel ortamlarda hata tespiti (FD) yeteneğini artırmak amacıyla tahmin karşıtlığı öğrenmesini kullanan yenilikçi bir özdenetimli öğrenme mimarisi önerilmektedir. Önerilen yaklaşım, zamansal bağımlılıkları yakalamak ve model dayanıklılığını artırmak için zaman ve frekans alanı bilgilerini birleştirmektedir. Bu çalışmanın temel katkıları şunlardır: SSL'de zaman-frekans bilgisinin yenilikçi bir şekilde birleştirilmesi, hata tespiti için tahmin karşıtlığı öğrenmenin ilk kez uygulanması, gerçek zamanlı performans ve ölçeklenebilirlik için karmaşık ağ analizi ve kapsamlı bir değerlendirme sürecinin (ablation çalışmaları dahil) gerçekleştirilmesi. Veri kıtlığı sorunlarını ele almak ve karmaşık ortamlarda hata tespit doğruluğunu artırmak amacıyla önerilen model, temel zamansal ilişkileri korurken dayanıklılığı artıran veri dönüşümleri içermektedir. Yaklaşımımız, endüstriyel süreçlerde hata tespit sistemlerini test etmek için yaygın olarak kullanılan Tennessee Eastman Süreci (TEP) referans veri setleri (Ricker ve Rieth versiyonları) ile değerlendirildi. Ayrıca, su yönetim sistemine kasıtlı saldırı senaryoları enjekte edilmiş anormallikler içeren Secure Water Treatment (SWaT) ve Water Distribution (WADI) veri setleri üzerinde de değerlendirmeler gerçekleştirilmiştir. TEP veri setleri üzerindeki deneysel sonuçlar, önerilen yaklaşımın mevcut referans modelleri önemli ölçüde geride bıraktığını göstermektedir. Modelimiz, %92,04 Doğru Pozitif Oranı (TPR), 22,18 adım Ortalama Tespit Gecikmesi (ADD) ve %97,62 Doğru Tanı Oranı (CDR) elde ederek veri kıtlığı zorluklarını etkili bir şekilde ele almış ve karmaşık endüstriyel ortamlarda hata tespit doğruluğunu artırmıştır. Benzer şekilde, diğer referans veri setlerinde de üstün performans gözlemlenmiştir. Pratik uygulanabilirliği sağlamak için, modelimizin gerçek zamanlı performansını ve ölçeklenebilirliğini hem bulut hem de uç bilgi işlem ortamlarında değerlendirmek amacıyla karmaşık ağ topolojisi analizi gerçekleştirilmiştir. Bu analiz, endüstriyel ağları karmaşık sistemler olarak ele alarak, uç ve bulut bilgi işlem mimarileri arasındaki gecikme farklarının kapsamlı bir karşılaştırmasını sunmaktadır. Bu yaklaşım, hata tespit literatüründe önemli bir boşluğu doldurmaktadır. Önerilen özdenetimli öğrenme mimarisi, kapsamlı ağ analizi ile birleştirildiğinde, endüstriyel kimya tesislerinde hata tespiti için sağlam bir çözüm sunmaktadır. Gelişmiş derin öğrenme tekniklerinin çeşitli bilgi işlem ortamlarında uygulanmasına yönelik pratik hususlarla entegre edilmesi sayesinde, endüstride daha verimli ve güvenilir hata tespit sistemlerinin geliştirilmesinin yolu açılmaktadır.