Opis projektu
Nowoczesne narzędzie do opisywania zdjęć i obrazów
Systemy opisywania obrazów mają pewne ograniczenia, ponieważ w dużym stopniu opierają się na treściach wizualnych. To wyjaśnia, dlaczego generowane podpisy są przeważnie wyłącznie opisowe i pomijają kluczowe informacje potrzebne do zrozumienia obrazu. Finansowany przez UE projekt ROCAP ma na celu wprowadzenie narzędzia do wstawiania podpisów, które przyda się w takich dziedzinach jak geografia, radiologia i historia sztuki, w których opis musi zawierać informacje, których nie da się uzyskać wyłącznie na podstawie obrazu. Zespół projektu ROCAP przeanalizuje możliwość dostosowania metody tworzenia napisów opracowanej w poprzednim projekcie do potrzeb obrazowania medycznego i historii sztuki. Dzięki współpracy z ekspertami w tych dziedzinach zespół opracuje praktyczny system tworzenia podpisów, następnie zastosuje go jako narzędzie open-source i przetestuje w warunkach rzeczywistych.
Cel
Image captioning is the process of mapping a visual scene to a short textual description. Automating this process is vital for many computer applications, including information retrieval from visual data, computerized assistance to visually impaired people, and automatic tour guiding. State-of-the-art captioning systems are limited by their heavy reliance on visual contents. As a result, generated captions are often purely descriptive and miss important information that is needed in order to understand the image. This PoC project develops a captioning tool that will be useful for knowledge-intensive areas like Geography, Radiology or Art History, where captions need to include information that cannot be extracted from images alone. It builds on results of the ROCKY ERC AdG project, whose innovative captioning system integrates external knowledge into the captioning process. This allowed the ROCKY project to employ standard methods of image captioning, with a deep convolutional neural network (CNN) for image understanding and a Transformer network for language generation. Thanks to the external knowledge integration, the ROCKY captioning prototype gets substantially closer to human-generated captions than standard captioning systems that do not take external knowledge into account. This PoC project will use this result by implementing a knowledge-aware captioning system that is scalable for practical purposes. The project examines the feasibility of the ROCKY captioning method for Medical Imaging and Art History and implements it for one of these domain as a use case. The project will engage with experts in these domains, specify a practical captioning system, implement it as an open-source tool and test it in realistic situations. The anticipated value of this effort is in the development of a general method that would allow one open-source platform to be multi-purpose, thereby cost-effectively adjustable to needs of different domains.
Dziedzina nauki (EuroSciVoc)
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego. Więcej informacji: Europejski Słownik Naukowy.
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego. Więcej informacji: Europejski Słownik Naukowy.
- nauki humanistyczne historia i archeologia historia
- medycyna i nauki o zdrowiu medycyna kliniczna radiologia
Aby użyć tej funkcji, musisz się zalogować lub zarejestrować
Przepraszamy… podczas wykonywania operacji wystąpił nieoczekiwany błąd.
Wymagane uwierzytelnienie. Powodem może być wygaśnięcie sesji.
Dziękujemy za przesłanie opinii. Wkrótce otrzymasz wiadomość e-mail z potwierdzeniem zgłoszenia. W przypadku wybrania opcji otrzymywania powiadomień o statusie zgłoszenia, skontaktujemy się również gdy status ulegnie zmianie.
Program(-y)
Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.
Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.
-
HORIZON.1.1 - European Research Council (ERC)
GŁÓWNY PROGRAM
Wyświetl wszystkie projekty finansowane w ramach tego programu
Temat(-y)
Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.
Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.
System finansowania
Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.
Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.
HORIZON-ERC-POC - HORIZON ERC Proof of Concept Grants
Wyświetl wszystkie projekty finansowane w ramach tego programu finansowania
Zaproszenie do składania wniosków
Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.
Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.
(odnośnik otworzy się w nowym oknie) ERC-2022-POC2
Wyświetl wszystkie projekty finansowane w ramach tego zaproszeniaInstytucja przyjmująca
Kwota netto dofinansowania ze środków Unii Europejskiej. Suma środków otrzymanych przez uczestnika, pomniejszona o kwotę unijnego dofinansowania przekazanego powiązanym podmiotom zewnętrznym. Uwzględnia podział unijnego dofinansowania pomiędzy bezpośrednich beneficjentów projektu i pozostałych uczestników, w tym podmioty zewnętrzne.
3584 CS Utrecht
Niderlandy
Ogół kosztów poniesionych przez organizację w związku z uczestnictwem w projekcie. Obejmuje koszty bezpośrednie i pośrednie. Kwota stanowi część całkowitego budżetu projektu.