Ziel
Our objectives for the group therefore are:
- Bringing the user back into the evaluation process
- Understanding the changing nature of IR tasks and their evaluation
- Evaluating traditional evaluation methodologies
- Considering how evaluation can be prescriptive of IR design
- Moving towards balanced approach (system versus user)
- Understanding how interaction affects evaluation
- Supporting the move from static to dynamic evaluation
- Understanding how new media affects evaluation
- Making evaluation methods more practical for smaller groups
- Spawning new projects to develop new evaluation frameworks
Our approach to the creation of new frameworks will be to continue to support and to encourage the research in the evaluation area at the different sites. At the same time the laboratory style evaluation will continue, especially to specify the design of test data to be used in large scale experiments such as TREC. At all times the balance between user-, task-, and system-orientation will be taken into account. Through some of our sites we will have access to real users. Our approach will be to report to each other and subsequently to the wider community about our new evaluation frameworks, mostly through the publication of papers and reports, and occasionally through the demonstration of working evaluation procedures. Moreover, we will attempt to interact formally with some selected businesses to investigate and help with their evaluation problems (e.g. Publishing, Banking, Communications).
The results of our work will be exploited by increased interaction between our group and HCI, CBR, DBMS and AI, members from those disciplines will be invited to participate in our workshops. Moreover, we will increase our interaction with industry involved with multimedia IR applications. Many of us already have strong links with industry in this area. Finally, the working group will be used to propose new RTD projects which will increase the chances of exploitation.
This is a working group to lay the foundations for new frameworks to evaluate the emerging interactive and multimedia information retrieval applications. The starting point for this group is the traditional evaluation methodology developed during the last forty years largely within the IR community. Many members of the group have been responsible for the creation of this methodology. We have come to the conclusion that this methodology is not adequate for sustaining the development of large scale applications within highly interactive and multimedia user-centred environments. The current situation with respect to research and development is different from before in two essential ways:
IR techniques are beginning to be used in complex goal and task oriented systems whose main objectives are not just the retrieval of information.
New original research in IR is being blocked or hampered by the lack of a broader framework for evaluation.
Wissenschaftliches Gebiet (EuroSciVoc)
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
Dieses Projekt wurde noch nicht bei EuroSciVoc klassifiziert.
Schlagen Sie die Wissenschaftsbereiche vor, die Ihrer Einschätzung nach besonders relevant sind, und helfen Sie uns, unseren Klassifizierungsdienst zu verbessern.
Sie müssen sich anmelden oder registrieren, um diese Funktion zu nutzen
Programm/Programme
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
Thema/Themen
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Aufforderung zur Vorschlagseinreichung
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
Daten nicht verfügbar
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
Finanzierungsplan
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
Koordinator
G12 8QQ Glasgow
Vereinigtes Königreich
Die Gesamtkosten, die dieser Organisation durch die Beteiligung am Projekt entstanden sind, einschließlich der direkten und indirekten Kosten. Dieser Betrag ist Teil des Gesamtbudgets des Projekts.