W ramach projektu 5. PR opracowano prototyp komputera z inteligencją emocjonalną
W ramach projektu piątego programu ramowego (5. PR) naukowcy zaprojektowali i przygotowali prototyp komputera zdolnego do interakcji typu człowiek - komputer oraz realistycznego wyrażania stanów emocjonalnych. Dziesięciu partnerów projektu ERMIS (Inteligentny System Interakcji Człowiek-Maszyna Wzbogaconych Emocjonalnie), finansowanego w ramach priorytetu IST (technologie społeczeństwa informacyjnego), skoncentrowało się na rozpoznawaniu lingwistycznych i paralingwistycznych sygnałów ludzkiej mowy w celu wyprodukowania komputera umiejącego zinterpretować nastawienie i stan emocjonalny użytkownika. Komputer może rozpoznać czy użytkownik jest znudzony, zły czy zaciekawiony za pomocą analizy mowy, mimiki i wyrazu twarzy. Aby to osiągnąć, partnerzy wykorzystali technologie takie jak lingwistyczna i paralingwistyczna analiza mowy, zaawansowane rozpoznawanie mowy, analiza mimiki twarzy oraz interpretacja stanu emocjonalnego użytkownika za pomocą drobiazgowych technik hybrydowych opartych na neuronowych modelach rozmytych. Na wstępnym etapie zespół wyodrębnił 400 cech zwykłej mowy, a następnie wybrał około 20 -25 najważniejszych z punktu widzenia wyrażania emocji. W przypadku wyrazu twarzy wybrano 19 najbardziej istotnych elementów. Następnie warunki te zostały wczytane do architektury sieci neuronowej w celu ich przeanalizowania. W drugim etapie otrzymane wyniki analizy zostały wprowadzone do prototypowego systemu składającego się z różnych postaci na ekranie, z których każda jest w stanie reagować na emocjonalną zawartość mowy i wyrazu twarzy człowieka oraz ją odtwarzać. Jak wyjaśnili partnerzy projektu, poprzez interakcję z użytkownikami postacie komputerowe będą starały się ich rozzłościć, uszczęśliwić, zasmucić czy zanudzić. Efektem projektu ERMIS jest "wrażliwy sztuczny słuchacz", postać komputerowa z umiejętnością znacznie bardziej realistycznego wyrażania emocji w komunikacji z człowiekiem niż poprzednio. Partnerzy projektu, do których należą British i France Telecom oraz Nokia, dokonują obecnie analizy tych wyników z myślą o ich wykorzystaniu zgodnie ze swoimi szczególnymi wymaganiami. Wyniki projektu doprowadziły również do kontynuacji w postaci nowej inicjatywy - czteroletniego projektu HUMAIN finansowanego w ramach szóstego programu ramowego (6. PR).