Technology Enhanced Learning of Musical Instrument Performance

Projektinformationen

TELMI

ID Finanzhilfevereinbarung: 688269

DOI

10.3030/688269

Projekt abgeschlossen

EK-Unterschriftsdatum 10 November 2015

Startdatum 1 Februar 2016

Enddatum 31 Januar 2019

Finanziert unter

• INDUSTRIAL LEADERSHIP - Leadership in enabling and industrial technologies - Information and Communication Technologies (ICT)

Gesamtkosten

€ 2 617 425,00

EU-Beitrag

€ 2 617 425,00

Koordiniert durch

UNIVERSIDAD POMPEU FABRA
Spain

CORDIS bietet Links zu öffentlichen Ergebnissen und Veröffentlichungen von HORIZONT-Projekten.

Links zu Ergebnissen und Veröffentlichungen von RP7-Projekten sowie Links zu einigen Typen spezifischer Ergebnisse wie Datensätzen und Software werden dynamisch von OpenAIRE abgerufen.

Leistungen

Demonstrators, pilots, prototypes (8)

First version of TELMI System Platform
Second version of the data acquisition systems prototypes

Based on user feedback about usability and practical concerns during the recordings of the reference database as well as the student progress following, a second version of improved prototypes will be delivered.

RCM Event
Final version of TELMI System Platform
Final platforms of the data acquisition systems

The final prototypes of the measuring systems combining different modalities and fully integrated with the database, user interface and feedback systems.

First working prototypes of the measuring systems

The first working prototypes of the measuring system will be available to start recording violin masters for the reference database. This means that the database system from WP6-Integration should be available as well. Includes systems based on EMF sensors, IR Cameras, and Audio.

Public Database

This deliverable will contain the details about the setup of a public multimodal database of musical performances available for consultation and research. This multimodal recordings‘ database will allow to browse the multimodal recordings using a powerful html5 web based visualizer as well as allow the users to download the recordings for their research analysis. This database will include all data gathered during the recordings done during the whole project.

Final public event

Websites, patent fillings, videos etc. (2)

Start-up public event
Website of the Project

Website of the Project (first public version Month 6 and regular updates)

Open Research Data Pilot (1)

Data Management Plan

Documents, reports (2)

Final feature definition and computation algorithms
User-evaluations of each technology in each scenario completed

Veröffentlichungen

Peer reviewed articles (12)

Machine learning and music generation

Autoren: José M. Iñesta, Darrell Conklin, Rafael Ramírez
Veröffentlicht in: Journal of Mathematics and Music, Ausgabe 10/2, 2016, Seite(n) 87-91, ISSN 1745-9737
Herausgeber: Taylor and Francis Ltd.
DOI: 10.1080/17459737.2016.1216369

EEG-Based Analysis of the Emotional Effect of Music Therapy on Palliative Care Cancer Patients

Autoren: Rafael Ramirez, Josep Planas, Nuria Escude, Jordi Mercade, Cristina Farriols
Veröffentlicht in: Frontiers in Psychology, Ausgabe 9, 2018, ISSN 1664-1078
Herausgeber: Frontiers Research Foundation
DOI: 10.3389/fpsyg.2018.00254

Seeking reproducibility: Assessing a multimodal study of the testing effect

Autoren: M. Beardsley, D. Hernández-Leo, R. Ramirez-Melendez
Veröffentlicht in: Journal of Computer Assisted Learning, Ausgabe 34/4, 2018, Seite(n) 378-386, ISSN 0266-4909
Herausgeber: Blackwell Publishing Inc.
DOI: 10.1111/jcal.12265

Mapping between dynamic markings and performed loudness: a machine learning approach

Autoren: Katerina Kosta, Rafael Ramírez, Oscar F. Bandtlow, Elaine Chew
Veröffentlicht in: Journal of Mathematics and Music, Ausgabe 10/2, 2016, Seite(n) 149-172, ISSN 1745-9737
Herausgeber: Taylor and Francis Ltd.
DOI: 10.1080/17459737.2016.1193237

Evaluation of a Sound Quality Visual Feedback System for Bow Learning Technique in Violin Beginners: An EEG Study

Autoren: Angel David Blanco, Rafael Ramirez
Veröffentlicht in: Frontiers in Psychology, Ausgabe 10, 2019, ISSN 1664-1078
Herausgeber: Frontiers Research Foundation
DOI: 10.3389/fpsyg.2019.00165

Automatic Assessment of Tone Quality in Violin Music Performance

Autoren: Sergio Giraldo, George Waddell, Ignasi Nou, Ariadna Ortega, Oscar Mayor, Alfonso Perez, Aaron Williamon, Rafael Ramirez
Veröffentlicht in: Frontiers in Psychology, Ausgabe 10, 2019, Seite(n) 334, ISSN 1664-1078
Herausgeber: Frontiers Research Foundation
DOI: 10.3389/fpsyg.2019.00334

Bowing Gestures Classification in Violin Performance: A Machine Learning Approach

Autoren: David Dalmazzo, Rafael Ramírez
Veröffentlicht in: Frontiers in Psychology, Ausgabe 10, 2019, ISSN 1664-1078
Herausgeber: Frontiers Research Foundation
DOI: 10.3389/fpsyg.2019.00344

Analysis of Movement Quality in Full-Body Physical Activities

Autoren: Radoslaw Niewiadomski, Ksenia Kolykhalova, Stefano Piana, Paolo Alborno, Gualtiero Volpe, Antonio Camurri
Veröffentlicht in: ACM Transactions on Interactive Intelligent Systems, Ausgabe 9/1, 2019, Seite(n) 1-20, ISSN 2160-6455
Herausgeber: Association for Computing Machinery (ACM)
DOI: 10.1145/3132369

The EyeHarp: A Gaze-Controlled Digital Musical Instrument

Autoren: Zacharias Vamvakousis, Rafael Ramirez
Veröffentlicht in: Frontiers in Psychology, Ausgabe 7, 2016, ISSN 1664-1078
Herausgeber: Frontiers Research Foundation
DOI: 10.3389/fpsyg.2016.00906

Enriched Multimodal Representations of Music Performances: Online Access and Visualization

Autoren: Esteban Maestre, Panagiotis Papiotis, Marco Marchini, Quim Llimona, Oscar Mayor, Alfonso Perez, Marcelo M. Wanderley
Veröffentlicht in: IEEE MultiMedia, Ausgabe 24/1, 2017, Seite(n) 24-34, ISSN 1070-986X
Herausgeber: Institute of Electrical and Electronics Engineers
DOI: 10.1109/MMUL.2017.3

A Machine Learning Approach to Discover Rules for Expressive Performance Actions in Jazz Guitar Music

Autoren: Sergio I. Giraldo, Rafael Ramirez
Veröffentlicht in: Frontiers in Psychology, Ausgabe 7, 2016, ISSN 1664-1078
Herausgeber: Frontiers Research Foundation
DOI: 10.3389/fpsyg.2016.01965

A machine learning approach to ornamentation modeling and synthesis in jazz guitar

Autoren: Sergio Giraldo, Rafael Ramírez
Veröffentlicht in: Journal of Mathematics and Music, Ausgabe 10/2, 2016, Seite(n) 107-126, ISSN 1745-9737
Herausgeber: Taylor and Francis Ltd.
DOI: 10.1080/17459737.2016.1207814

Conference proceedings (27)

A computational approach for measuring performance quality in violin tones

Autoren: Sergio Giraldo; Rafael Ramirez; George Waddell; Aaron Williamon
Veröffentlicht in: Abstracts of the International Symposium in Performance Science (ISPS 2017), Reijavik, Iceland., Ausgabe 4, 2017
Herausgeber: ISPS
DOI: 10.5281/zenodo.2579194

A realtime feedback learning tool to visualize sound quality in violin performances

Autoren: Sergio Giraldo; Rafael Ramirez; George Waddell; Aaron Williamon
Veröffentlicht in: Ausgabe 4, 2017
Herausgeber: MML
DOI: 10.5281/zenodo.2580053

Computational modelling of timbre dimensions for automatic violin tone quality assessment

Autoren: Sergio Giraldo; Rafael Ramirez; George Waddell; Aaron Williamon
Veröffentlicht in: Proceedings of the 2018 TIMBRE is a many splendored thing Conference, Montreal, Canada., Ausgabe 2, 2018
Herausgeber: McGill
DOI: 10.5281/zenodo.2579163

Enhancing Music Learning with Smart Technologies

Autoren: Rafael Ramirez, Alfonso Perez, George Waddell, Aaron Williamon, Corrado Canepa, Simone Ghisio, Ksenia Kolykhalova, Maurizio Mancini, Erica Volta, Gualtiero Volpe, Sergio Giraldo, Oscar Mayor
Veröffentlicht in: Proceedings of the 5th International Conference on Movement and Computing - MOCO '18, 2018, Seite(n) 1-4, ISBN 9781-450365048
Herausgeber: ACM Press
DOI: 10.1145/3212721.3212886

Detection and Regression of Violin Vibrato from Scores and Mobile Devices Rendering for Didactic Purposes

Autoren: Furkan Yesiler, Rafael Ramirez
Veröffentlicht in: Proceedings of the Sound and Music Computing Conference, 2018
Herausgeber: SMC

Automatically measuring biomechanical skills of violin performance - an exploratory study

Autoren: Erica Volta, Maurizio Mancini, Giovanna Varni, Gualtiero Volpe
Veröffentlicht in: Proceedings of the 5th International Conference on Movement and Computing - MOCO '18, 2018, Seite(n) 1-4, ISBN 9781-450365048
Herausgeber: ACM Press
DOI: 10.1145/3212721.3212840

Automatic assessment of violin performance using dynamic time warping classification

Autoren: Sergio Giraldo, Ariadna Ortega, Alfonso Perez, Rafael Ramirez, George Waddell, Aaron Williamon
Veröffentlicht in: 2018 26th Signal Processing and Communications Applications Conference (SIU), 2018, Seite(n) 1-3, ISBN 978-1-5386-1501-0
Herausgeber: IEEE
DOI: 10.1109/SIU.2018.8404556

A Machine Learning Approach to Classification of Phonation Modes in Singing.

Autoren: Matteo Lionello, Rafael Ramirez
Veröffentlicht in: 2018
Herausgeber: SMC

Air violin: a machine learning approach to fingering gesture recognition

Autoren: David Dalmazzo, Rafael Ramirez
Veröffentlicht in: Proceedings of the 1st ACM SIGCHI International Workshop on Multimodal Interaction for Education - MIE 2017, 2017, Seite(n) 63-66, ISBN 9781-450355575
Herausgeber: ACM Press
DOI: 10.1145/3139513.3139526

Neural Correlates of Bow Learning Technique

Autoren: Angel David Blanco; Rafael Ramirez
Veröffentlicht in: 10th International Workshop on Machine Learning and Music, 2017
Herausgeber: MML

Bowing modeling for violin students assistance

Autoren: Fabio J. M. Ortega, Sergio I. Giraldo, Rafael Ramirez
Veröffentlicht in: Proceedings of the 1st ACM SIGCHI International Workshop on Multimodal Interaction for Education - MIE 2017, 2017, Seite(n) 60-62, ISBN 9781-450355575
Herausgeber: ACM Press
DOI: 10.1145/3139513.3139525

Acquisition of Violin Instrumental Gestures Using an Infrared Depth Camera

Autoren: Zacharias Vamvakousis; Alfonso Perez Carrillo; Rafael Ramirez
Veröffentlicht in: Proceedings of the 15th Sound and Music Computing Conference (SMC2018), Limassol, Cyprus, 4-7 July, 2018
Herausgeber: SMC
DOI: 10.5281/zenodo.1422548

Automated Analysis of Postural and Movement Qualities of Violin Players

Autoren: Erica Volta, Gualtiero Volpe
Veröffentlicht in: 2019 International Workshop on Multilayer Music Representation and Processing (MMRP), 2019, Seite(n) 56-59, ISBN 978-1-7281-1649-5
Herausgeber: IEEE
DOI: 10.1109/mmrp.2019.8665374

Phrase-Level Modeling of Expression in Violin Performances

Autoren: Fabio J. M. Ortega, Sergio I. Giraldo, Rafael Ramirez
Veröffentlicht in: 10th International Workshop on Machine Learning and Music, 2017
Herausgeber: mml

A Machine Learning Approach to Violin Bow Technique Classification - a Comparison Between IMU and MOCAP systems

Autoren: David Dalmazzo, Simone Tassani, Rafael Ramírez
Veröffentlicht in: Proceedings of the 5th international Workshop on Sensor-based Activity Recognition and Interaction - iWOAR '18, 2018, Seite(n) 1-8, ISBN 9781450364874
Herausgeber: ACM Press
DOI: 10.1145/3266157.3266216

Evaluation of audio-based feedback technologies for bow learning technique in violin beginners

Autoren: Angel Blanco, Rafael Ramirez
Veröffentlicht in: Proceedings of the 1st ACM SIGCHI International Workshop on Multimodal Interaction for Education - MIE 2017, 2017, Seite(n) 41-43, ISBN 9781-450355575
Herausgeber: ACM Press
DOI: 10.1145/3139513.3139520

Estimation of violin bowing features from Audio recordings with Convolutional Networks

Autoren: A. Perez-Carrillo, H. Purwins
Veröffentlicht in: Conference and Workshop on Neural Information Processing Systems (NIPS), 2017
Herausgeber: Neural Information Processing Systems Foundation, Inc.

A multimodal corpus for technology-enhanced learning of violin playing

Autoren: Gualtiero Volpe, Ksenia Kolykhalova, Erica Volta, Simone Ghisio, George Waddell, Paolo Alborno, Stefano Piana, Corrado Canepa, Rafael Ramirez-Melendez
Veröffentlicht in: Proceedings of the 12th Biannual Conference on Italian SIGCHI Chapter - CHItaly '17, 2017, Seite(n) 1-5, ISBN 9781-450352376
Herausgeber: ACM Press
DOI: 10.1145/3125571.3125588

Informing bowing and violin learning using movement analysis and machine learning

Autoren: E. Volta, P. Alborno, and G. Volpe
Veröffentlicht in: Proceedings of the 10th International Workshop on Machine Learning and Music, 2017
Herausgeber: MML
DOI: 10.13140/rg.2.2.24907.49443

Jazz ensemble expressive performance modeling

Autoren: Bantula, Helena; Giraldo, Sergio Iván; Ramírez, Rafael,1966-
Veröffentlicht in: Ausgabe 1, 2016
Herausgeber: International Society for Music Information Retrieval (ISMIR)
DOI: 10.5281/zenodo.1415876

Exploiting multimodal integration in adaptive interactive systems and game-based learning interfaces

Autoren: Erica Volta, Gualtiero Volpe
Veröffentlicht in: Proceedings of the 5th International Conference on Movement and Computing - MOCO '18, 2018, Seite(n) 1-4, ISBN 9781-450365048
Herausgeber: ACM Press
DOI: 10.1145/3212721.3212849

Acquisition of Human Body Kinematic and Dynamic Features in Violin Performances with Kinect

Autoren: Pablo Fernandez Blanco, Alfonso Perez-Carrillo, Mario Ceresa
Veröffentlicht in: First International Workshop on Motor Learning For Music Performance, Ausgabe 1, 2017, 2017
Herausgeber: Aalborg University Copenhagen

Statistical models for the indirect acquisition of violin bowing controls from audio analysis

Autoren: Alfonso Perez-Carrillo
Veröffentlicht in: Proceedings of Meetings on Acoustics, Ausgabe 29, 2017, 2017, Seite(n) 035003
Herausgeber: Acoustical Society of America
DOI: 10.1121/2.0000402

ESTIMATION OF BOWING PARAMETERS IN VIOLIN PLAYING FROM AUDIO ANALYSIS

Autoren: Alfonso Perez-Carrillo
Veröffentlicht in: Abstracts of the International Symposium on Performance Science 2017, Ausgabe 1, 2017, 2017, Seite(n) 192, ISBN 9789-935937803
Herausgeber: Iceland Academy of the Arts

JAZZ ENSEMBLE EXPRESSIVE PERFORMANCE MODELING

Autoren: Helena Bantula, Sergio Giraldo and Rafael Ramirez
Veröffentlicht in: 17th International Society for Music Information Retrieval Conference, 2016., Ausgabe Ago 12, 2016, 2016
Herausgeber: International Society for Music Information Retrieval

A Genetic Approach for Evaluation of Computational Models for Expressive Music Performance in Jazz Guitar

Autoren: Sergio Giraldo and Rafael Ramirez
Veröffentlicht in: 9th International Workshop on Machine Learning, Ausgabe September 23, 2016, 2016
Herausgeber: MML

HEXAPHONIC GUITAR TRANSCRIPTION AND VISUALISATION

Autoren: Iñigo Angulo Ortegui, Sergio Giraldo, Rafael Ramirez
Veröffentlicht in: Second International Conference on Technologies for Music Notation and Representation, Ausgabe 27-29 May 2016, 2016
Herausgeber: Anglia Ruskin University

Non-peer reviewed articles (1)

Musical neurofeedback for treating depression in elderly people

Autoren: Rafael Ramirez, Manel Palencia-Lefler, Sergio Giraldo, Zacharias Vamvakousis
Veröffentlicht in: Frontiers in Neuroscience, Ausgabe 9, 2015, ISSN 1662-453X
Herausgeber: Frontiers
DOI: 10.3389/fnins.2015.00354

Book chapters (1)

Violin Timbre Navigator: Real-Time Visual Feedback of Violin Bowing Based on Audio Analysis and Machine Learning

Autoren: Alfonso Perez-Carrillo
Veröffentlicht in: MultiMedia Modeling - 25th International Conference, MMM 2019, Thessaloniki, Greece, January 8–11, 2019, Proceedings, Part II, Ausgabe 11296, 2019, Seite(n) 182-193, ISBN 978-3-030-05715-2
Herausgeber: Springer International Publishing
DOI: 10.1007/978-3-030-05716-9_15