Descripción del proyecto
Herramienta de vanguardia para perfeccionar el subtitulado de imágenes
Los sistemas de subtitulado de imágenes son limitados porque dependen en gran medida del contenido visual. Esto explica por qué los subtítulos generados suelen ser sólo descriptivos y pasan por alto la información clave necesaria para entender la imagen. El objetivo del proyecto ROCAP, financiado con fondos europeos, es introducir una herramienta de subtitulado que beneficie a campos como la geografía, la radiología y la historia del arte, en los que los subtítulos deben incluir información que no puede obtenerse únicamente de las imágenes. El equipo de ROCAP estudiará la viabilidad de aplicar el método de subtitulación desarrollado en un proyecto anterior a la subtitulación de imágenes médicas e historia del arte. Mediante la colaboración con expertos en estos ámbitos, el proyecto especificará un sistema práctico de subtitulado, lo aplicará como herramienta de código abierto y lo probará en condiciones reales.
Objetivo
Image captioning is the process of mapping a visual scene to a short textual description. Automating this process is vital for many computer applications, including information retrieval from visual data, computerized assistance to visually impaired people, and automatic tour guiding. State-of-the-art captioning systems are limited by their heavy reliance on visual contents. As a result, generated captions are often purely descriptive and miss important information that is needed in order to understand the image. This PoC project develops a captioning tool that will be useful for knowledge-intensive areas like Geography, Radiology or Art History, where captions need to include information that cannot be extracted from images alone. It builds on results of the ROCKY ERC AdG project, whose innovative captioning system integrates external knowledge into the captioning process. This allowed the ROCKY project to employ standard methods of image captioning, with a deep convolutional neural network (CNN) for image understanding and a Transformer network for language generation. Thanks to the external knowledge integration, the ROCKY captioning prototype gets substantially closer to human-generated captions than standard captioning systems that do not take external knowledge into account. This PoC project will use this result by implementing a knowledge-aware captioning system that is scalable for practical purposes. The project examines the feasibility of the ROCKY captioning method for Medical Imaging and Art History and implements it for one of these domain as a use case. The project will engage with experts in these domains, specify a practical captioning system, implement it as an open-source tool and test it in realistic situations. The anticipated value of this effort is in the development of a general method that would allow one open-source platform to be multi-purpose, thereby cost-effectively adjustable to needs of different domains.
Ámbito científico (EuroSciVoc)
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..
- humanidades historia y arqueología historia
- ciencias médicas y de la salud medicina clínica radiología
Para utilizar esta función, debe iniciar sesión o registrarse
Le pedimos disculpas, pero se ha producido un error inesperado durante la ejecución.
Necesita estar autentificado. Puede que su sesión haya finalizado.
Gracias por su comentario. En breve recibirá un correo electrónico para confirmar el envío. Si ha seleccionado que se le notifique sobre el estado del informe, también se le contactará cuando el estado del informe cambie.
Programa(s)
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
-
HORIZON.1.1 - European Research Council (ERC)
PROGRAMA PRINCIPAL
Ver todos los proyectos financiados en el marco de este programa
Tema(s)
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Régimen de financiación
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
HORIZON-ERC-POC - HORIZON ERC Proof of Concept Grants
Ver todos los proyectos financiados en el marco de este régimen de financiación
Convocatoria de propuestas
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
(se abrirá en una nueva ventana) ERC-2022-POC2
Ver todos los proyectos financiados en el marco de esta convocatoriaInstitución de acogida
Aportación financiera neta de la UE. Es la suma de dinero que recibe el participante, deducida la aportación de la UE a su tercero vinculado. Considera la distribución de la aportación financiera de la UE entre los beneficiarios directos del proyecto y otros tipos de participantes, como los terceros participantes.
3584 CS Utrecht
Países Bajos
Los costes totales en que ha incurrido esta organización para participar en el proyecto, incluidos los costes directos e indirectos. Este importe es un subconjunto del presupuesto total del proyecto.