Dynamic images comparison using neural networks

Dinamične slike predstavljaju one slike koje imaju jednaki kontekst, ali različit sadržaj. To znači da dinamične slike prikazuju isti objekt, samo je na jednoj od slika objekt zarotiran, pomaknut, smanjen, povećan ili se ispred objekta nalazi nešto što ga djelomično prekriva. Za potrebe ovoga rada napisan je algoritam za generiranje dinamičnih slika. Ovaj generator generira slike tako da vrši neku od transformacija nad objektom. Pomoću ovog generatora kreirane su baze dinamičnih slika korištene za treniranje sijamske neuronske mreže koja je izrađena u sklopu ovog rada. Sijamska neuronska mreža je vrsta neuronske mreža koja ima sposobnost uspoređivanja dinamičnih slika. Algoritam za generiranje dinamičnih slika i algoritmi za treniranje i testiranje sijamske neuronske mreže napisani su u programsku jeziku Python. Sijamska neuronska mreža testirana je na CGIAD bazi dinamičnih slika te su dobiveni rezultati preciznosti od 94.46%, odziva od 92.76% i točnosti od 93.66%. Testiranjem sijamske neuronske mreže pokazano je da sijamska neuronska mreža predstavlja potencijalno rješenje za usporedbu dinamičnih slika, iako trenutno nije bolja u tom zadatku od najboljeg javno dostupnog DISM algoritma. Modifikacijama arhitekture sijamske neuronske mreže i baze dinamičnih slika korištenih za treniranje potencijalno bi se mogle povećati performanse mreže. Dynamic images represent those images that have the same context but different content. This means that dynamic images show the same object, but in one of the images object is rotated, moved, shrunken, enlarged or there is something in front of the object that partially covers it. For the purposes of this work, an algorithm for generating dynamic images was designed. This generator generates images in a way that makes some of the transformations on the object. With this generator, databases of dynamic images used for training the siamese neural network were made. Siamese neural network is a type of neural network that has the ability to compare dynamic images. Algorithms for generating dynamic images and algorithms for training and testing siamese neural network were written in the programming language Python. Siamese neural network was tested on CGIAD dynamic image database and results of 94.46% for precision, 92.76% for recall and 93.66% for accuracy were obtained. Testing of the siamese neural network showed that it could be potentially used for dynamic image comparison, but it currently isn’t better in that task than the DISM algorithm. Modifications on siamese neural network architecture and dynamic image database, which was used for training, would increase network performance.