Skip to main content
Przejdź do strony domowej Komisji Europejskiej (odnośnik otworzy się w nowym oknie)
polski pl
CORDIS - Wyniki badań wspieranych przez UE
CORDIS

PersonalAI: Efficient and Private Text Personalization with Large Language Models

Opis projektu

Rozwój prywatnej personalizacji modeli językowych (LLM) typu open source

Rozwój dużych modeli językowych (LLM) powoduje konflikt między funkcjonalnością a prywatnością, ponieważ wymaga to od użytkowników udostępniania poufnych danych stronom trzecim. Badanie przeprowadzone przez firmę PanzaMail wykazało, że dostrojenie modeli na podstawie 50–100 wiadomości e-mail pozwala naśladować styl pisania użytkownika, podczas gdy metoda RoSA umożliwia personalizację przy zużyciu mocy obliczeniowej mniejszym o ponad 90%. Finansowany przez ERBN projekt PersonalAI będzie rozwijał prywatną personalizację modeli językowych typu open source (LLM) bezpośrednio na urządzeniach użytkowników. Obejmuje to system, który zarządza złożonością zapytań, przetwarza proste zadania lokalnie, przeprowadza sanityzację danych wrażliwych oraz ponownie personalizuje wyniki. Projekt, skierowany do unijnego rynku AI, zapewni prywatność danych i zgodność z RODO, jednocześnie umożliwiając użytkownikom zachowanie własności danych oraz dostęp do zaawansowanych funkcji generowania tekstu.

Cel

The rapid adoption of Large Language Models (LLMs) for text generation has created a critical tension between functionality and privacy: while users increasingly rely on services like ChatGPT for personal and business communications, such cloud-based systems require surrendering control of sensitive data to third-party companies, often outside EU jurisdiction. The PersonalAI project addresses this fundamental challenge by enabling fully private, on-device personalization of open-source LLMs, leveraging breakthrough compression and fine-tuning techniques developed in the PI's ERC Starting Grant ScaleML project. Our preliminary PanzaMail study showed that models fine-tuned on as few as 50-100 user emails can generate text closely following genuine user writing, while our novel RoSA method enables this personalization on commodity hardware—reducing computational requirements by over 90% compared to standard approaches.

The technical innovation of the PersonalAI proof-of-concept lies in a four-component system that triages queries by complexity, executes simple tasks locally with efficiently-trained personalized models, sanitizes sensitive information from complex queries before cloud processing, and re-personalizes external outputs to match user style. As such, PersonalAI targets the rapidly-expanding EU AI market, where data sovereignty and GDPR compliance are paramount, for both companies and individual users. It offers the first solution that combines the personalization quality of proprietary services with complete data privacy. The project assembles a world-class team including the PI, lead developer Eugenia Iofinova (architect of PanzaMail), and two MIT advisors with deep entrepreneurial expertise. By transforming academic breakthroughs into a commercially viable product, PersonalAI will establish a new paradigm where users maintain complete ownership of their data and AI models while accessing state-of-the-art text generation and model editing capabilities.

Dziedzina nauki (EuroSciVoc)

Program(-y)

Temat(-y)

System finansowania

HORIZON-ERC-POC - HORIZON ERC Proof of Concept Grants

Wyświetl wszystkie projekty finansowane w ramach tego programu finansowania

Zaproszenie do składania wniosków

(odnośnik otworzy się w nowym oknie) ERC-2025-POC

Wyświetl wszystkie projekty finansowane w ramach tego zaproszenia

Instytucja przyjmująca

INSTITUTE OF SCIENCE AND TECHNOLOGY AUSTRIA
Wkład UE netto
€ 150 000,00
Adres
Am Campus 1
3400 Klosterneuburg
Austria
Region
Ostösterreich Niederösterreich Wiener Umland/Nordteil
Rodzaj działalności
Higher or Secondary Education Establishments
Linki
Koszt całkowity
Brak danych

Beneficjenci (1)