This thesis proposes a method for classifying noisy, non-stationary signals based on deep learning algorithms and Cohen’s class of time-frequency distributions (TFDs). The proposed approach is demonstrated on the challenging task of detecting gravitationalwave (GW) signals in intensive real-life, non-stationary, non-Gaussian, and non-white noise. By retrieving real-life measurements from Laser Interferometer Gravitational-Wave Observatory detectors and performing extensive GW waveform simulations, a diverse timeseries dataset of 100 000 examples was obtained with the signal-to-noise ratio (SNR) in the range from −123.46 to −2.27 dB. Next, 12 TFDs were calculated from the preprocessed time series, resulting in 1.2 million TFD images, then used as input to the deep learning classification algorithms utilizing three state-of-the-art two-dimensional convolutional neural network (CNN) architectures (ResNet-101, Xception, and EfficientNet). The results obtained by evaluating each of 36 TFD-CNN models show excellent classification performance of the proposed approach, with classification accuracy, area under the receiver operating characteristic curve (ROC AUC), recall, precision, F1 score, and area under the precision-recall curve (PR AUC) up to 97.100%, 0.98854, 95.867%, 99.507%, 97.029%, and 0.99195, respectively. Moreover, the proposed approach significantly outperforms the baseline deep learning model trained on the time-series data in terms of all considered metrics, with the statistical significance confirmed by McNemar’s test. The obtained results indicate that the proposed technique can improve the classification of non-stationary GW signals at very low SNRs with the potentials to be extended to other practical applications., Analiza nestacionarnih signala predstavlja izazovan zadatak u različitim istraživačkim područjima zbog vremenski promjenjivog frekvencijskog spektra takvih signala. Pritom njihova analiza često zahtijeva napredne alate za istovremeni prikaz signala u zajedničkoj vremensko-frekvencijskoj domeni, a koji nadilaze standardne tehnike zasebne analize signala u vremenskoj, odnosno frekvencijskoj domeni. Osim toga, nestacionarni su signali u stvarnim primjenama često višekomponentni, kao i dodatno narušeni šumom. U sklopu ove doktorske disertacije predložena je i razvijena metoda za klasifikaciju nestacionarnih signala u intenzivnom šumu temeljena na algoritmima dubokoga učenja i dvodimenzionalnim vremensko-frekvencijskim distribucijama iz Cohenove klase. Ove kvadratne vremensko-frekvencijske distribucije posjeduju svojstvo vremenske i frekvencijske kovarijantnosti, a predložena metoda demonstrirana je na zahtjevnom problemu detekcije signala gravitacijskih valova u intenzivnom, stvarnom i nestacionarnom šumu koji pritom nema karakteristike ni bijelog ni Gaussovog šuma. Predloženi je pristup eksperimentalno provjeren, a razvijeni se postupak sastoji od triju glavnih faza: pripreme i predobrade odgovarajućeg skupa podataka, treniranja i testiranja modela dubokoga učenja te evaluacije postignutih performansi navedenih modela. Korištenjem stvarnih mjerenja iz Laser Interferometer Gravitational-Wave Observatory (LIGO) detektora i provođenjem iscrpnih simulacija valnih oblika gravitacijskih valova dobiven je opsežan i raznolik skup podataka koji uključuje 100 000 primjera podataka u vremenskoj domeni. Pritom se vrijednosti omjera signala i šuma u generiranomu skupu podataka kreću u rasponu između −123.46 i −2.27 dB. Nakon odgovarajuće predobrade podataka u vremenskoj domeni izračunano je 12 vremensko-frekvencijskih distribucija iz Cohenove klase, uključujući spektrogram, Wigner-Villeovu, pseudo Wigner-Villeovu, izglađenu pseudo Wigner-Villeovu, Choi-Williamsovu, Butterworthovu, Born-Jordanovu i Zhao-Atlas-Marksovu distribuciju, te distribucije sa smanjenim interferencijama i jezgrama temeljenima na Besselovoj funkciji, binomnim koeficijentima, Hanningovom otvoru i trokutastom otvoru. Navedeni izračun rezultirao je s ukupno 1 200 000 slika vremenskofrekvencijskih distribucija, raspodijeljenima u 12 skupova podataka, a koje su potom korištene kao ulazi za treniranje i testiranje algoritama dubokoga učenja za klasifikaciju temeljenih na trima naprednim dvodimenzionalnim arhitekturama konvolucijskih neuronskih mreža (ResNet-101, Xception i EfficientNet). Rezultati postignuti evaluacijom svakog od 36 dobivenih modela dubokoga učenja konvolucijskih neuronskih mreža i vremensko-frekvencijskih distribucija pokazuju izvrsne klasifikacijske performanse predloženoga pristupa. Pritom točnost klasifikacije postiže vrijednosti do 97.100%, površina ispod krivulje značajke djelovanja prijamnika do 0.98854, odziv do 95.867%, preciznost do 99.507%, F1-mjera do 97.029% i površina ispod krivulje preciznost-odziv do 0.99195. Osim toga, usporedba ostvarenih performansi predloženoga pristupa s performansama referentnoga modela dubokoga učenja, koji kao ulaze koristi izvorne podatke u vremenskoj domeni, pokazuje da predloženi pristup značajno nadmašuje referentni model s obzirom na sve korištene pokazatelje kvalitete performansi. Naime, postignute vrijednosti točnosti klasifikacije više su do 3.953%, površine ispod krivulje značajke djelovanja prijamnika do 2.067%, odziva do 7.014%, preciznosti do 2.307%, F1- mjere do 4.190% i površine ispod krivulje preciznost-odziv do 1.475%. Analiza dodatnih detaljnih pokazatelja kvalitete, uključujući matrice konfuzije, krivulje značajke djelovanja prijamnika i krivulje preciznost-odziv, također ukazuje na bolje performanse predloženoga pristupa, pri čemu je statistička značajnost dobivenih razlika u performansama potvrđena McNemarovim statističkim testom. Analiza dobivenih rezultata ukazuje na to da predloženi pristup primjene kvadratnih vremensko-frekvencijskih distribucija iz Cohenove klase u kombinaciji s algoritmima dubokoga učenja temeljenima na dvodimenzionalnim konvolucijskim neuronskim mrežama može postići poboljšanu kvalitetu klasifikacije nestacionarnih signala u vremenskoj domeni u uvjetima vrlo niskih vrijednosti omjera signala i šuma. U sklopu ove doktorske disertacije analizirana je i potvrđena mogućnost praktične primjene predloženoga pristupa u detekciji signala gravitacijskih valova, pri čemu su postignute vrlo visoke performanse. Osim navedene primjene, predloženi pristup također ima potencijal za proširenje na druga područja znanstvenog istraživanja i praktične primjene koje zahtijevaju analizu različitih vrsta nestacionarnih signala.