Higher-order multimodal Interaction: Presenting novel structure in Real-world NETworked problems

Opis projektu

Istnienie zależności między węzłami wielomodalnymi wyższego rzędu

Grafy stanowią podstawowe narzędzie matematyczne służące do przedstawiania powiązanych ze sobą układów i występujących między nimi zależności. Wiele rzeczywistych problemów, takich jak ekspresja genów czy sieci finansowe, wiąże się jednak z większą złożonością, niż są w stanie odzwierciedlić tradycyjne grafy. Zespół finansowanego ze środków działania „Maria Skłodowska-Curie” projektu HIPeR-NET wykaże występowanie zakładanych relacji między węzłami wielomodalnymi wyższego rzędu w układach fizycznych, strukturach biologicznych, sieciach finansowych i nie tylko. W tym celu zespół przeanalizuje kluczowe wnioski i mechanizmy płynące z dziedziny uczenia maszynowego, badań nad złożonymi strukturami wyższego rzędu oraz własnych badań, wykorzystując te ustalenia do rozwiązania wyzwań związanych z interakcjami trójstronnymi, analizą danych z pojedynczych komórek, uczeniem generatywnym oraz percepcją multimodalną.

Cel

Graphs represent a mathematical concept used to study interconnected subsystems, by formulating mutual relationships as connected node-pairs. However, traditional graphs are inadequate to capture interactions in many real-world problems (e.g. brain networks, gene expression or financial networks, to name a few), due to limited scope of expression. Recent research draws attention to higher-order complex structures (e.g. hypergraphs, allowing multi-body connection; multilayer networks, encoding multimodal connections; and temporal networks, whose connections change over time). Interaction is also often described as form of network flow (message passing) with respect to graph-like objects. This mechanism is commonly utilised in machine learning, a concept performing a type of relationship inference from large amounts of data to describe the underlying problems. Our recent work provides an extension of network flow to higher-order complex objects, in form of multimodal heterogeneous network flow. This is important as recent research has demonstrated that most real-world systems exhibit higher-order complex network features, which may benefit from learning-based relationship inference over higher-order complex structures. We demonstrate existence of the proposed higher-order multimodal node relationship in physical systems, financial networks, and biological structures, among others. Given limited scope of expression in existing frameworks, our proposed framework offers new, previously unexplored insight potential, transcending graph transformers. To that end, following open challenges will be addressed: triadic interaction and generative learning (expanding scope of expression in generative adversarial models); single-cell data analysis (assessing gene expression programmes for cancer therapy, in line with its expressed need for the new paradigm); and multimodal perception (offering new insights to the neuroscientific basis for haptic-enhanced multimodal interaction).