Neurale netwerkdatafusie voor zelfrijdende auto's

kanaal, geven de netwerken hun berekende vertrouwen terug over het vermogen van de NN om nauwkeurig objecten in een bepaald beeld te detecteren. Als het beeld bijvoorbeeld erg donker is, retourneert het RGB-netwerk een lage betrouwbaarheidsscore. 2 DNN's (Deep Neural Networks) draaien zonder toezicht op de gefuseerde dataset en zoeken naar afbeeldingen waarbij een van de DNN's weinig vertrouwen heeft en de andere een hoge score. De kanalen van de afbeelding met hoge betrouwbaarheidsscores worden vervolgens gebruikt om de NN te leren voor kanalen met lagere betrouwbaarheidsscores. Dit proces verbetert de prestaties van beide DNN's aanzienlijk door ze te trainen onder de meest veeleisende omstandigheden. Een van de resultaten is dat RGB DNN's grote verbeteringen laten zien in donkere scènes en directe verblinding.

C. Fusion Image (R, G, B, IR) netwerk

Gebruik 4D-beelden (R, G, B, IR) voor de beste prestaties voor systemen met zowel RGB- als IR-camera's. De detectiescore van deze DNN is de detectiescore van de combinatie van de 2 DNN's die in Sectie B hierboven worden genoemd, terwijl slechts de helft van de rekenbronnen wordt gebruikt. Deze combinatie/fusie geeft de beste resultaten voor een enkel systeem.

Bij het kiezen van een fusienetwerkbenadering moet echter met een aantal factoren rekening worden gehouden. Door 2 verschillende DNN's te gebruiken (zoals weergegeven in deel B), verkrijgt het systeem de redundantiefactor die nodig is voor de veiligheid van autonome voertuigen (voorkomen van uitval in geval van occlusie, lensvervuiling, uitval van een van de sensoren, enz.). Ook kan het verbeterde RGB plus IR-netwerk iets meer worden afgestemd, dus het verwijderen van een van de camera's (RGB of IR) heeft geen invloed op de DNN van de resterende kanalen.

A) RGB DNN traint IR DNN. B) RGB DNN en IR DNN worden wederzijds getraind. C) 4D-beeld DNN

tot slot

RGB-camera's blijven waarschijnlijk de primaire sensoren in zelfrijdende auto's. In sommige gevallen worden RGB-camera's onbetrouwbaar, waardoor het gebruik van extra sensoren nodig is. Bij het kiezen van een begeleidende sensor moeten de volgende punten in overweging worden genomen:

Sensorprestaties onder omgevingsomstandigheden (licht, weer, enz.) die de prestaties van de RGB-camera beïnvloeden

sensor prijs

Eenvoudig te trainen AI-algoritmen en volledige mogelijkheden voor gegevensfusie

LWIR-camera's voldoen perfect aan alle bovenstaande overwegingen. Het QuadSight-visiesysteem maakt gebruik van de allernieuwste mogelijkheden op het gebied van kunstmatige intelligentie om snel en betrouwbaar volledige datafusie te bereiken om volledig autonome voertuigen te realiseren.

RGB zichtbaar lichtbeeld (links), LWIR-beeld (midden) en gefuseerd RGB-IR-beeld (rechts)