CORDIS - Wyniki badań wspieranych przez UE
CORDIS

Neural Video Processing and Streaming for Real-time Traffic Monitoring

Article Category

Article available in the following languages:

Wysokiej jakości monitoring ruchu drogowego w czasie rzeczywistym oparty na sztucznej inteligencji

Dzięki zespołowi projektu VISIONS wizja inteligentnych miast staje się coraz bardziej rzeczywista. Wszystko to dzięki systemowi monitorowania ruchu drogowego w czasie rzeczywistym, korzystającemu z wydajnych technik przetwarzania i przesyłania strumieniowego materiałów filmowych wysokiej jakości opartych na sztucznej inteligencji.

Transport i mobilność icon Transport i mobilność

Stale rosnąca liczba ludzi mieszkających w miastach i coraz większa liczba pojazdów poruszających się po drogach wymaga opracowywania i wdrażania systemów monitorowania ruchu drogowego w celu przeciwdziałania korkom i zapewnienia bezpieczeństwa na drogach. Choć liczba kamer na drogach rośnie z dnia na dzień, przepustowość większości sieci łączności na całym świecie jest zbyt ograniczona, aby przesyłać wysokiej jakości materiały z monitoringu ruchu drogowego, z kolei niska jakość utrudnia operatorom podejmowanie decyzji. Zespół finansowanego ze środków działania „Maria Skłodowska-Curie” projektu VISIONS zastosował metody uczenia maszynowego do przetwarzania i przesyłania strumieniowego materiałów wideo, aby zapewnić wysoką jakość monitoringu ruchu drogowego w czasie rzeczywistym. Opracowany przez zespół projektu VISIONS algorytm będzie w przyszłości dostępny jako pakiet oprogramowania, który będzie można wykorzystać z istniejącymi kamerami lub połączyć z nowymi urządzeniami. Takie rozwiązanie przyczyni się do realizacji ambicji Unii Europejskiej w zakresie zmniejszenia liczby śmiertelnych wypadków drogowych do zera do 2050 roku.

Kompleksowa optymalizacja strumieni wideo

Aby zmaksymalizować wykorzystanie przepustowości sieci dostępnej dla systemu monitorowania ruchu, badacze projektu VISIONS zwrócili się w stronę uczenia maszynowego, które wykorzystali zarówno w celu przetwarzania strumieni wideo, jak i ich przesyłania strumieniowego. W pierwszym zastosowaniu algorytm VISIONS zwiększa niższą rozdzielczość materiałów przesyłanych przez kamery, dokonując ich rekonstrukcji przy pomocy technik skalowania. W kontekście przesyłania strumieniowego materiałów wideo, zespół projektu VISIONS wykorzystał uczenie głębokie ze wzmocnieniem w celu dostosowywania szybkości transmisji w czasie rzeczywistym, umożliwiając systemowi dostosowanie się do zmian w sieci (na przykład zapotrzebowania na przepustowość ze strony innych usług) i poprawę doświadczeń użytkowników. „Wzięliśmy pod uwagę ograniczoną moc obliczeniową i zużycie energii kamer monitorujących ruch drogowy, dlatego nasz model sieci neuronowej może działać niezawodnie nawet na urządzeniach dysponujących ograniczonymi zasobami obliczeniowymi”, zauważa Xu Zhang, stypendysta działania „Maria Skłodowska-Curie”. W przyszłości, aby zapewnić użytkownikom najwyższą jakość materiałów przy jednoczesnej maksymalizacji przepustowości, system będzie stale poszukiwał złotego środka. Jak wyjaśnia Zhang: „Jeśli użytkownik będzie oglądał materiał na wydajnym urządzeniu, rozwiązanie będzie przesyłać filmy w niskiej rozdzielczości, a następnie rekonstrukcja i skalowanie zostaną zrealizowane po stronie klienta – to pozwoli na ograniczenie zapotrzebowania na przepustowość sieci. Z kolei jeśli urządzenie użytkownika nie będzie dysponowało odpowiednimi zasobami obliczeniowymi, rozwiązanie prześle filmy w wyższej rozdzielczości kosztem przepustowości”.

Równoległe testowanie algorytmów

System powstał dzięki wykorzystaniu interfejsów programowania aplikacji (API) TensorFlow w języku Python. Badacze opracowali środowisko symulacyjne oparte na procesie pobierania materiałów z rzeczywistych usług oferujących strumieniowe przesyłanie materiałów z monitoringu ruchu drogowego. Zespół zajmował się jednoczesnym trenowaniem kilku modeli. Każdy z nich opierał się na różnych danych sieciowych i materiałach filmowych dostępnych w publicznych zestawach danych, co pozwoliło na zwiększenie niezawodności systemu. Wykorzystane przez badaczy zbiory obejmowały dane dotyczące przesyłania szerokopasmowego Federalnej Komisji Łączności (FCC), dane dotyczące przepustowości sieci bezprzewodowej 4G zebrane na urządzeniach mobilnych w Gandawie oraz informacje na temat przepustowości sieci 3G HSDPA wykorzystywane na potrzeby przesyłania strumieniowego za pośrednictwem protokołu HTTP na urządzeniach mobilnych. W celu oceny wydajności rozwiązania, zespół projektu VISIONS porównał swój algorytm z innymi rozwiązaniami pod kątem zapotrzebowania na przepustowość oraz płynności odtwarzania, a także utraconych klatek i liczby zatrzymań odtwarzania. „Zastosowanie naszego algorytmu umożliwia zmniejszenie liczby utraconych klatek i zatrzymań odtwarzania odpowiednio o 24 % i 15,5 % bez konieczności zwiększania przepustowości”, mówi Zhang.

Zastosowanie w innych systemach multimedialnych

Zespół projektu VISIONS skupiał się na strumieniowym przesyłaniu materiałów filmowych do centrów kontroli, skąd operatorzy mogą zdalnie obserwować przepływ ruchu, aby identyfikować i niezwłocznie reagować na problemy, takie jak wypadki lub korki. „W przyszłości zamierzamy zająć się badaniem transmisji materiałów z monitoringu ruchu drogowego połączonej z systemami sztucznej inteligencji, aby umożliwić automatyczne analizowanie ruchu oraz zgłaszanie problemów. Obecnie rezultaty naszych prac mogą zostać wykorzystane w innych systemach opartych na materiałach multimedialnych, w tym w rozwiązaniach rzeczywistości wirtualnej, edukacji zdalnej, a także w ochronie zdrowia”, podsumowuje Zhang.

Słowa kluczowe

VISIONS, film, wideo, przepływność, sztuczna inteligencja, uczenie maszynowe, ruch drogowy, monitorowanie, przesyłanie strumieniowe, przepustowość

Znajdź inne artykuły w tej samej dziedzinie zastosowania