Uncertainty Estimation in Deep Neural Object Detectors for Autonomous Driving

One of the most challenging problems in autonomous driving, and in computer vision in general, is the task of object detection. Recently, the advances of deep learning in the domain of computer vision have led the research community to apply ideas from deep learning to the problem of object detection. Such frameworks have shown promising results by outperforming all of the traditional approaches based on hand-crafted features. However, deep neural networks fail to provide reliability measurement for their predictions, which is a crucial requirement for critical systems. Moreover, it has been shown that deep neural networks tend to give more overconfident predictions compared to their shallow counterpart. Our objective with the current degree project is to review popular deep neural object detection frameworks and to investigate methods for uncertainty estimation in deep convolutional neural networks. Additionally, we would like to find out if applying a method of uncertainty estimation could improve the performance of a deep neural object detector in terms of standard object detection metrics such as average precision and log average miss rate. Moreover, we aim at discovering if an approach for measuring reliability improves the calibration quality of an object detector. Finally, we focus on investigating if uncertainty estimates could be utilised for detecting misclassified examples or highly occluded/truncated objects within an image. In order to answer these questions, we construct a variety of experiments that investigate different setups and conditions. Overall, we found that uncertainty estimation is a promising approach for alleviating overconfidence in deep neural networks as well as for providing a reliability measurement for all predictions.
Ett av de mest utmanande problemen i autonom körning och i datorsyn i allmänhet är uppgiften att upptäcka objekt. Nyligen har framstegen med djup inlärning inom datorsynsområdet ledt till att forskarsamhället tillämpar idéer från djup inlärning till problemet med att upptäcka objekt. Sådana ramverk har visat lovande resultat genom att överträffa alla traditionella tillvägagångssätt baserade på handgjorda funktioner. Djupa nervnätverk kan emellertid inte tillhandahålla tillförlitlighetsmätning för sina förutsägelser, vilket är ett avgörande krav för kritiska system. Dessutom har det visats att djupa neurala nätverk tenderar att ge mer överviktiga förutsägelser jämfört med deras grunt motsvarighet. Vårt mål med det aktuella examensprojektet är att granska populära ramar för upptäckt av neurala objekt och undersöka metoder för osäkerhetsberäkning i invandrade neurala nätverk. Dessutom vill vi ta reda på om tillämpning av en metod för osäkerhetsberäkning kan förbättra prestandan för en djup neural objektdetektor när det gäller standardobjektdetekteringsmetriser som genomsnittlig precision och loggenomsnittlig missfrekvens. Dessutom syftar vi till att upptäcka om en metod för att mäta tillförlitlighet förbättrar kalibreringskvaliteten för en objektdetektor. Slutligen fokuserar vi på att undersöka om osäkerhetsberäkningar kan användas för att upptäcka felklassificerade exempel eller starkt ockluderade/trunkerade objekt i en bild. För att svara på dessa frågor konstruerar vi olika experiment som undersöker olika inställningar och villkor. Sammantaget konstaterade vi att osäkerhetsberäkningen är en lovande strategi för att lindra överförtroende i djupa nervnätverk och för att tillhandahålla tillförlitlighetsmått för alla förutsägelser.