Onderzoekers van BrainCreators en Universiteit van Amsterdam (UvA) ontwikkelen efficiënt framework voor video-AI

Redactie WINMAG Pro
De onderzoekers van BrainCreators en de Universiteit van Amsterdam hebben een nieuw framework voor self-supervised learning ontwikkeld op het gebied van video representatie. Dankzij Video Cross-Stream Prototypical Contrasting (ViCC) is het eenvoudiger om intelligentietaken uit te voeren in de automatische verwerking van bewegende beelden.

De nieuwe methode ViCC is vooral bedoeld om representaties te leren. Dit zijn zeer compacte beschrijvingen van ieder videofragment. Het automatisch leren van representaties voor video is een krachtig middel voor verschillende doelen. Applicaties kunnen hierdoor bijvoorbeeld zonder hulp of met een lichte mate van menselijke ondersteuning ontwikkeld worden. Denk hierbij aan het automatisch herkennen van acties in videofragmenten, het efficiënt doorzoeken van grote video datasets en het signaleren van afwijkende gebeurtenissen. Hierdoor kunnen applicaties veel efficiënter worden ontwikkeld en de bestaande visuele inspectie oplossingen van BrainCreators (zoals ARA en INSPECH) effectiever kennis overbrengen, streams beter optimaliseren en efficiëntere prestaties leveren. 

Hoe werkt ViCC

Video datasets hebben veel voordelen ten opzichte van stilstaand beeld. Zo bevat video veel rijkere informatie omtrent acties en bewegingen. Het grote nadeel is dat visuele AI oplossingen vaak afhankelijk zijn van door de mens geannoteerde datasets. Hierdoor moet ieder beeld voorzien zijn van handmatige inspectie en menselijke interpretatie. Als zulke data gebruikt wordt om AI te trainen onder de supervisie van de mens, spreken we van supervised learning. ViCC kan echter effectief kennis samenbrengen uit video datasets met een minimale hoeveelheid menselijke bemoeienis. Dit wil zeggen dat de AI zelf leert van verbanden in de data. Hierdoor maakt ViCC self-supervised learning mogelijk en kunnen er tijd en kosten worden bespaard.

Dankzij ViCC kan AI zelf voor elk videofragment vele variaties aanmaken (augmentation). Bijvoorbeeld door te zoomen, knippen, herschalen of kleuraanpassingen te maken. Hierdoor ontstaan er positieve correlaties in de dataset; de AI weet immers welke video’s op deze manier gerelateerd zijn. Door dit te contrasteren (contrasting) met variaties van andere video's is de AI in staat de representaties te verbeteren. Tegelijk worden zowel kleuren als bewegingen apart verwerkt en gebruikt om elkaars correlaties te versterken (cross-stream). Tenslotte worden representaties op een innovatieve manier gegroepeerd (prototyping) waardoor het leerproces zeer efficiënt plaats kan vinden. 

Het resultaat is dat ViCC effectiever kennis kan samenbrengen uit de video datasets met een minimale hoeveelheid menselijke interpretatie. BrainCreators staat hiermee aan de cutting-edge van video deep-learning binnen AI en neemt het voortouw in toegepaste innovatie op het gebied van intelligente videoverwerking. 


 

afbeelding van Redactie WINMAG Pro

RedactieWINMAG Pro | Redacteur

Bekijk alle artikelen vanRedactie