Opis projektu
Automatyczna ocena rozumienia mowy poprzez rejestrowanie aktywności mózgu
Rozumienie mowy ma kluczowe znaczenie dla naszej zdolności do komunikowania się, umożliwiając nam reagowanie na komunikaty otaczających nas osób, dzielenie się radością i smutkiem, świadczenie usług i odpowiadanie na prośby. Tej istotnej umiejętności może zagrażać wiele czynników, w tym utrata słuchu, uszkodzenie lub udar mózgu, starzenie się i inne warunki wpływające na funkcje poznawcze. Obecnie rozumienie mowy oceniane jest przez lekarza w sposób ręczny. W ramach finansowanego ze środków UE projektu OSIRIS opracowywany jest zautomatyzowany system do oceny rozumienia mowy, który polega na rejestrowaniu reakcji mózgu podczas słuchania, co eliminuje potrzebę aktywnego uczestnictwa badanej osoby. Automatyzacja umożliwi powszechniejsze badanie i standaryzację wyników. Pomiar aktywności mózgu pozwoli na ocenę rozumienia u osób, które mogą rozumieć, co się do nich mówi, ale nie być w stanie tego wyrazić.
Cel
In medicine, it is often essential to know to what extent a person can understand speech. Current methods to measure speech understanding involve playing specially crafted sentences to the person, letting the person repeat them, and scoring the result manually. This requires active participation of the person, specialised speech material, and is labour intensive. We present a system to measure speech understanding fully automatically. We record brain responses while the person listens to a recording of natural speech, and apply signal processing to derive speech intelligibility. The person does not need to actively participate, which enables testing of a large variety of populations that cannot be tested with traditional methods, such as young children and people with mental impairment. The measurement result relates to everyday communication skills. Our system will make diagnostics cheaper and enable diagnostics outside a specialized clinical center because the system can operate fully automatically.
Dziedzina nauki
Program(-y)
System finansowania
ERC-POC-LS - ERC Proof of Concept Lump Sum PilotInstytucja przyjmująca
3000 Leuven
Belgia