FairnessDPLab: evaluating fairness impact of differential privacy on supervised AI algorithms

Abstract

This study investigates the impact of differential privacy (DP) on fairness in supervised artificial intelligence (AI) algorithms through the development and evaluation of a benchmark platform, FairnessDPLab. The platform systematically examines the interplay between privacy preservation and fairness across three widely studied datasets: Adult, COMPAS, and German Credit. Utilizing both machine learning and deep learning models, the study explores the effects of varying privacy budgets and their implications on various fairness metrics. The findings indicate that the balance between privacy and fairness can vary under different conditions, such as dataset characteristics or model choices. For instance, lower privacy budget values enhance privacy but may lead to undesirable changes in model accuracy and fairness measures. Deep learning models show higher sensitivity to privacy settings than traditional machine learning methods, such as logistic regression and random forests. The study also highlights the importance of carefully selecting privacy metrics, suggesting that they may need to be adapted based on the domain of application. This work contributes to the growing body of literature on equitable AI systems by providing a robust framework for analyzing fairness under differential privacy constraints. The insights derived from this study offer practical guidelines for designing privacy-preserving AI systems that balance utility and fairness in diverse applications.Bu tez, FairnessDPLab adlı bir karşılaştırma platformu ile gözetimli yapay zeka (YZ) algoritmalarında diferansiyel mahremiyetin adalet üzerindeki etkisini incelemektedir. Söz konusu platform, bu alanda yaygın biçimde kullanılan üç veri setini (Adult, COMPAS ve German Credit) kullanarak mahremiyet ile adalet arasındaki ilişkiyi sistematik bir şekilde değerlendirmektedir. Çalışma, makine öğrenmesi ve derin öğrenme modellerinden yararlanarak farklı mahremiyet bütçelerinin çeşitli adalet metrikleri üzerindeki sonuçlarını analiz etmektedir. Elde edilen bulgular, mahremiyet ve adalet arasındaki dengenin veri seti ya da model tercihi gibi farklı kullanım koşullarıyla nasıl değişiklik gösterebileceğini raporlar. Örneğin, düşük verilen mahremiyet bütçe değerleri mahremiyeti artırırken, model doğruluğu ve adalet ölçümlerinde istenmeyen değişimlere yol açabilmektedir. Derin öğrenme modelleri, lojistik regresyon ve rastgele orman gibi geleneksel makine öğrenmesi yöntemlerine kıyasla mahremiyet ayarlarına karşı daha yüksek duyarlılık göstermektedir. Ayrıca, mahremiyet metriklerinin seçiminde dikkatli bir analiz yapılması gerektiği, incelenecek alana göre metrik seçiminde değişiklik yapılması gerektiği belirtilmiştir. Bu çalışma, diferansiyel mahremiyet kısıtları altında adaleti incelemek için sağlam bir çerçeve sunarak, adil YZ sistemleri üzerine giderek büyüyen literatüre katkıda bulunmaktadır. Elde edilen analizler, farklı uygulamalarda fayda ve adaletin dengesini gözeten mahremiyet korumalı YZ sistemlerinin tasarımında pratik rehberlik sağlamaktadır.