Privacy Protection and Auditing for Foundation Models

Projektbeschreibung

Erhaltung der Privatsphäre während des gesamten Basismodelltrainings

Ein neuartiger Paradigmenwechsel im Bereich des maschinellen Lernens, insbesondere beim Vortraining von Basismodellen (foundational models, FMs) auf nicht kuratierten Daten, gefolgt von bereichsspezifischen Datensätzen für bestimmte Aufgaben, hat zu Fortschritten bei Basismodellen wie LLaMA, GPT und stabiler Diffusion geführt. Dadurch konnten Innovationen in der Branche vorangetrieben werden. Leider geben Basismodelle Informationen aus ihren Trainingsdaten preis. Bei der Verarbeitung privater Daten stellt dies ein ernsthaftes Risiko für die Sicherheit der Privatsphäre dar. In diesem Zusammenhang wird das ERC-finanzierte Projekt Privacy4FMs innovative Methoden zum Schutz der Privatsphäre vom Vortraining bis zum Einsatz und während der gesamten Entwicklung von Basismodellen erarbeiten. Im Rahmen des Projekts werden die Quellen von Datenlecks erforscht und lokalisiert, Basismodelle geprüft, um Verletzungen der Privatsphäre zu erkennen, und ein neuartiger theoretischer Rahmen für Datenschutzgarantien in Basismodellen entwickelt.

Ziel

Novel foundation models (FMs) like GPT, LLaMA, and Stable Diffusion are achieving exceptional performance across diverse tasks, generating high-quality text, images, and audio, and driving industry innovations. This progress stems from a shift in machine learning paradigm: instead of training task-specific models on curated datasets, FMs are first pretrained on vast, uncurated data to become strong general-purpose models, then adapted on smaller, domain-specific datasets for specific tasks.

However, FMs leak information from their training data. For example, recent studies reveal that they can re-create individual data points from their pretraining and adaptation datasets. This poses serious privacy risks when private data is involved. Preventing exposure requires developing methods to ensure privacy-preservation throughout FMs' lifecycle, from pretraining to deployment. To achieve this, our project will identify sources of privacy leakage, provide privacy guarantees over both pretraining and adaptation, and audit FMs to detect privacy violations. Therefore, we must overcome three major challenges: the limited understanding of privacy risks in FM pretraining, the lack of formal joint privacy guarantees for pretraining and adaptation, and the ineffectiveness of current privacy auditing methods.

The solution that we propose will establish a novel theoretical framework for privacy guarantees in FMs under the pretrain-adapt paradigm. Our fundamental innovations rely on the insight that, due to complex interdependencies between pretraining and adaptation data, different data points require individual levels of protection to prevent leakage. Advancing methods for identifying, achieving, and accounting for such individual guarantees will enable us to formally bound privacy leakage over both training stages and to detect violations. These innovations will allow society to benefit from technological advancements through FMs without compromising individuals' privacy.