Search

Στην παρούσα μεταπτυχιακή διατριβή επιδιώκεται η παρουσίαση της σύγχρονης βιβλιογραφίας που σχετίζεται με το αντικείμενο της Μοντελοποίησης Ακολουθιών μέ Βαθιά Νευρωνικά Δίκτυα (Deep Neural Networks). Η βασική ανάλυση αφορά τις αρχιτεκτονικές και τα μοντέλα Αναδρομικών Νευρωνικών Δικτύων (Recurrent Neural Networks - RNN), τα οποία βρίσκονται στο επίκεντρο της σύγχρονης επιστημονικής έρευνας και φαίνεται να παρουσιάζουν τα καλύτερα αποτελέσματα σε θέματα μοντελοποίησης ακολουθιών. Προσπάθειες για τη μοντελοποίηση ακολουθιών έχουν γίνει και με διαφορετικά μοντέλα νευρωνικών δικτύων, όπως είναι τα Συνελικτικά Νευρωνικά Δίκτυα (Convolutional Neural Networks - CNN), τα οποία, όμως, δεν εξετάζονται στην παρούσα εργασία. Στην εργασία παρουσιάζονται οι περιορισμοί και τα μειονεκτήματά των κλασσικών δομών RNN για τη μοντελοποίηση ακολουθιών καθώς επίσης και η αρχιτεκτονική LSTM, που επεκτείνει τις δυνατότητες των RNN δικτύων. Τέλος, αναφέρονται οι λόγοι που οδήγησαν στην ανάπτυξη των μοντέλων μετασχηματιστή (Transformers), και παρουσιάζεται συνοπτικά η αρχιτεκτονική τους., The purpose of the present postgraduate dissertation is to present modern bibliography on the field of sequence modeling with deep neural networks. The main body of the analysis is about the Recurrent Neural Network architectures (RNN) which are at the heart of modern scientific research and seem to present the best results in the field. Attempts to model sequences have been made with different models of neural networks, such as the Convolutional Neural Networks (CNN), which, however, are not considered in this thesis. The dissertation presents the limitations and disadvantages of classical RNN structures for sequence modeling as well as the LSTM architecture, which extends the capabilities of RNN networks. Finally, the dissertation mentions the reasons that led to the development of Transformers models and their architecture is briefly presented.