Enough HorSyn Around : A Comparative Analysis of Synthetic and Real Image Training for Convolutional Neural Networks in 2D Pose Estimation of Horses

This thesis explores the efficacy of synthetic image data for training convolutional neural networks (CNNs) in the domain of 2D pose estimation of horses. The study addresses the general lack of annotated datasets for horse pose estimation by creating the synthetic dataset HorSy15k using a 3D model in a computer graphics engine. This dataset comprises 15,000 images of horses in various scenes with automatically generated annotations for 20 keypoints. CNN models were trained using 10 different datasets: one with entirely synthetic images, two with real images, and seven with varying ratios of real and synthetic images. The performance of these models was evaluated on unseen real horse images. The results demonstrate that incorporating synthetic data can enhance model accuracy and generalization capabilities compared to models trained exclusively on real images. Notably, models trained with a balanced mix of synthetic and real images exhibited superior performance, suggesting that synthetic data can effectively complement real data in training robust CNNs for horse pose estimation. The findings underscore the potential of synthetic data in overcoming the limitations of real-world data scarcity and annotation challenges.
I denna rapport undersöks effektiviteten av syntetisk bilddata för att träna faltande neurala nätverk (convolutional neural networks, CNNs) inom området 2D pose-estimering av hästar. Studien angriper den allmänna bristen på annoterade dataset för pose-estimering av hästar genom att med hjälp av en 3D-modell och en motor för 3D-grafik skapa HorSy15k, ett syntetiskt dataset. Detta dataset består av 15 000 bilder av hästar i olika miljöer med automatiskt genererade annotationer för 20 nyckelpunkter. CNN-modeller tränades på tio olika dataset: ett med helt syntetiska bilder, två med riktiga bilder och sju med varierande proportioner av riktiga och syntetiska bilder. Modellerna utvärderades sedan på osedda riktiga bilder av hästar. Resultatet visar att inkorporering av syntetiska data kan förbättra modellers noggrannhet och generaliseringsförmåga jämfört med modeller som enbart tränats på riktiga bilder. Särskilt visar studien att modeller som tränats med en balanserad blanding av syntetiska och riktiga bilder ger en överlägsen prestanda, vilket tyder på att syntetisk data effektivt kan komplettera reell data vid träning av robusta CNN-modeller för pose-estimering av hästar. Resultaten understryker potentialen hos syntetisk data att kunna övervinna begränsningar som brist på verkliga data och annoteringsutmaningar.