Cel
The objective of the project is to provide a cost effective basis for multimedia and virtual reality technologies in the audio sector. The project is motivated by the need to provide user friendly creative tools for sound design and interactive music performance. These tools must be extensible and adaptive and have user interfaces accessible to multimedia designers or users, rather than to computer specialists. In order to achieve this, solutions must be developed for integrating low level real time signal processing components with high level user interface software components.
The goal of the project is to be achieved by integrating research in three key areas of multimedia systems:
- open distributed processing enabling cost effective and extensible high performance systems.
- object oriented, portable design environments for rapid development and flexible reconfiguration of audio tools.
- new multiparametric user interfaces and graphic display methods
Three subtasks are defined corresponding to the above research areas:
Sound Processing Network: Sound generation and processing algorithms will be implemented for real time execution with the MIDAS protocol for open distributed processing developed at York University. The initial target will be a PC network. Porting of code to different processor types will be demonstrated and implementation studies on UNIX Workstations connected via ATM will be included.
User interface design environment: An incremental, portable programming and sound design environment will be implemented with object oriented tools (Smalltalk80 and/or Java). Graphical tools for representing and defining sound processing and sound structure generation algorithms will be programmed within this environment. Multithreading and low level communication protocols will be employed to communicate with the signal processing components during execution time. Compatibility with standards such as CORBA and MPI will be maintained as far as possible within the limits imposed by real time execution constraints.
Multiparametric gestural control interface: Body movement data measured with the SensorGlove as well as with low cost motion sensors are input over serial interface to the SGI Workstation and matched against a database of hand shape prototypes. Gesture recognition algorithms will be developed for the specific glove and compared for performance and reliability. Hand movements thus control the movement between different timbres ("morphing") or other performance attributes. In parallel, a higher level software "agent" watches for conditions such as curve extrema or speed thresholds so as to trigger notes, phrases, or similar macro level events and control timing (rubato) and other factors based on known techniques for expressive performance.
The realisation of a prototype will demonstrate solutions for the close integration of low level signal processing with high level design and control components. This will lead to audio components showing following features:
1) Programmability: All components can be programmed via a graphical user interface on a portable environment such as Java or Smalltalk.
2) Transparency: The internal state of components is displayed on the graphical user interface at run time.
3) Open architecture, "pluggability": Heterogeneous components can be added to the network to enhance performance and functionality.
4) Use of graphical user interfaces for sound and music editing.
5) Use of multiparametric input devices such as the SensorGlove or motion sensors.
6) A large pool of sound synthesis and programming algorithms collated from research by the partners as well as publicly available techniques.
Dziedzina nauki (EuroSciVoc)
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego. Więcej informacji: Europejski Słownik Naukowy.
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego. Więcej informacji: Europejski Słownik Naukowy.
- nauki przyrodnicze informatyka bazy danych
- inżynieria i technologia inżynieria elektryczna, inżynieria elektroniczna, inżynieria informatyczna inżynieria elektroniczna przetwarzanie sygnałów
- nauki przyrodnicze nauki fizyczne akustyka
- inżynieria i technologia inżynieria elektryczna, inżynieria elektroniczna, inżynieria informatyczna inżynieria elektroniczna czujniki
- nauki przyrodnicze informatyka oprogramowanie aplikacje komputerowe rzeczywistość wirtualna
Aby użyć tej funkcji, musisz się zalogować lub zarejestrować
Program(-y)
Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.
Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.
Temat(-y)
Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.
Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.
Zaproszenie do składania wniosków
Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.
Brak dostępnych danych
Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.
System finansowania
Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.
Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.
Koordynator
17085 Berlin
Niemcy
Ogół kosztów poniesionych przez organizację w związku z uczestnictwem w projekcie. Obejmuje koszty bezpośrednie i pośrednie. Kwota stanowi część całkowitego budżetu projektu.