Designing intelligent Byzantines: fall of robust aggregators in federal learning

Abstract

In federated learning (FL), it is difficult to profile and verify each client, leading to a security threat, where by malicious clients, called Byzantines, may hamper the accuracy of the trained model by conveying poisoned models during training. Hence, the aggregation process at the parameter server should aim to minimize the detrimental effects of malicious clients. The Byzantine problem is typically analyzed from an outlier detection perspective, and is oblivious to the architecture of the neural network (NN) being trained. In this work, we first expose vulnerabilities of the robust aggregators, specifically the CC framework, and introduce novel attack strategies that can circumvent the defences of the state-of-the-art robust aggregators. Later, we argue that by extracting certain side information specific to the NN architecture, one can design even stronger attacks. Hence, inspired by sparse neural networks, we introduce a hybrid sparse Byzantine attack that is composed of two parts each targeting a different type of defence mechanism: one sparse part that attacks only certain NN parameters with higher sensitivity, and the other being more silent but accumulating over time. Then, we propose a new robust and fast defence mechanism that is effective against the proposed and other existing Byzantine attacks. Our code is publicly available here https://github.com/CRYPTO-KU/FL-Byzantine-Library.

Federasyonlu öğrenmede (FL), her istemciyi profillemek ve doğrulamak zordur ve bu da Bizans saldırganı olarak adlandırılan kötü niyetli istemcilerin eğitim sırasında zehirli modeller ileterek eğitilen modelin doğruluğunu engelleyebileceği bir güvenlik tehdidine yol açar. Bu nedenle, parametre sunucusundaki toplama işlemi kötü niyetli istemcilerin zararlı etkilerini en aza indirmeyi hedeflemelidir. Bizans sorunu genellikle istatistiksel aykırı değer tespiti perspektifinden analiz edilir ve eğitilen sinir ağının mimarisinden habersizdir. Bu çalışmada, öncelikle sağlam toplayıcıların, özellikle CC çerçevesinin güvenlik açıklarını ortaya koyuyoruz ve son teknoloji sağlam toplayıcıların savunmalarını aşabilecek yeni saldırı stratejileri sunuyoruz. Daha sonra, kullanılan sinir ağının mimarisine özgü belirli bir yan bilgi çıkarılarak daha da güçlü saldırılar tasarlanabileceğini savunuyoruz. Bu nedenle, seyrek sinir ağlarından esinlenerek, her biri farklı bir savunma mekanizmasını hedefleyen iki parçadan oluşan bir hibrit seyrek Bizans saldırısı sunuyoruz: yalnızca belirli NN parametrelerine daha yüksek hassasiyetle saldıran seyrek bir parça ve daha sessiz ancak zamanla biriken diğer parça. Ardından, önerilen ve diğer mevcut Bizans saldırılarına karşı etkili olan yeni, sağlam ve hızlı bir savunma mekanizması öneriyoruz. Kodumuz herkese açıktır https://github.com/CRYPTO-KU/FL-Byzantine-Library.