Search

Deep neural networks have been a leading research topic within the machine learning field for the past few years. The introduction of graphical processing units (GPUs) and hardware advances made possible the training of deep neural networks. Previously the training procedure was impossible due to the huge amount of training samples required. The new trained introduced architectures have outperformed the classical methods in different classification and regression problems. With the introduction of 5G technology, related to low-latency and online applications, the research on decreasing the computational cost of deep learning architectures while maintaining state-of-art performance has gained huge interest. This thesis focuses on the use of Self Size-estimating Feedforward Network (SSFN), a feedforward multilayer network. SSFN presents low complexity on the training procedure due to a random matrix instance used in its weights. Its weight matrices are trained using a layer-wise convex optimization approach (a supervised training) combined with a random matrix instance (an unsupervised training). The use of deterministic transforms is explored to replace random matrix instances on the SSFN weight matrices. The use of deterministic transforms automatically reduces the computational complexity, as its structure allows to compute them by fast algorithms. Several deterministic transforms such as discrete cosine transform, Hadamard transform and wavelet transform, among others, are investigated. To this end, two methods based on features’ statistical parameters are developed. The proposed methods are implemented on each layer to decide the deterministic transform to use. The effectiveness of the proposed approach is illustrated by SSFN for object classification tasks using several benchmark datasets. The results show a proper performance, similar to the original SSFN, and also consistency across the different datasets. Therefore, the possibility of introducing deterministic transformations in machine learning research is demonstrated. Under de senaste åren har djupa neurala nätverk varit det huvudsakliga forskningsområdet inom maskininlärning. Införandet av grafiska processorenheter (GPU:er) och hårdvaruutveckling möjliggjorde träning av djupa neurala nätverk. Tidigare var träningsförfarandet omöjligt på grund av den enorma mängd datapunkter som krävs. De nya tränade arkitekturerna har överträffat de klassiska metoderna i olika klassificerings- och regressionsproblem. Med introduktionen av 5G-teknik, som hör samman med låg fördröjning och onlineapplikationer, har forskning om att minska beräkningskostnaderna för djupinlärningsarkitekturer utan att tappa prestandan, fått ökat intresset. Denna avhandling fokuserar på användningen av Self Size Estimating Feedforward Network (SSFN), ett feedforward multilayer-nätverk. SSFN har låg komplexitet i träningsproceduren på grund av en slumpmässig matrisinstans som används i dess vikter. Dess viktmatriser tränas med hjälp av en lagervis konvex optimeringsstrategi (en övervakad träning) i kombination med en slumpmässig matrisinstans (en oövervakad träning). Användningen av deterministiska transformationer undersöks för att ersätta slumpmässiga matrisinstanser på SSFN-viktmatriserna. Användningen av deterministiska transformationer ger automatiskt en minskning av beräkningskomplexiteten, eftersom dess struktur gör det möjligt att beräkna dem med snabba algoritmer. Flera deterministiska transformationer som diskret cosinustransformation, Hadamardtransformation och wavelettransformation undersöks bland andra. För detta ändamål utvecklas två metoder som baseras på statistiska parametrar i indatans olika dimensioner. De föreslagna metoderna implementeras på varje lager för att bestämma den deterministiska transform som ska användas. Effektiviteten av det föreslagna tillvägagångssättet illustreras med SSFN för objektklassificering med hjälp av flera dataset. Resultatet visar ett korrekt beteende, likt den ursprungliga SSFN, och konsistenta resultat över de olika dataseten. Därmed demonstreras möjligheten att införa deterministiska transformationer i maskininlärningsforskning.

Deep neural networks have been a leading research topic within the machine learning field for the past few years. The introduction of graphical processing units (GPUs) and hardware ad- vances made possible the training of deep neural networks. Previously the training procedure was impossible due to the huge amount of training samples required. The new trained introduced architectures have outperformed the classical methods in different classification and regression problems. With the introduction of 5G technology, related to low-latency and online applica- tions, the research on decreasing the computational cost of deep learning architectures while maintaining state-of-art performance has gained huge interest. This thesis focuses on the use of Self Size-estimating Feedforward Network (SSFN), a feed- forward multilayer network. SSFN presents low complexity on the training procedure due to a random matrix instance used in its weights. Its weight matrices are trained using a layer-wise convex optimization approach (a supervised training) combined with a random matrix instance (an unsupervised training). The use of deterministic transforms is explored to replace random matrix instances on the SSFN weight matrices. The use of deterministic transforms automat- ically reduces the computational complexity, as its structure allows to compute them by fast algorithms. Several deterministic transforms such as discrete cosine transform, Hadamard trans- form and wavelet transform, among others, are investigated. To this end, two methods based on features statistical parameters are developed. The proposed methods are implemented on each layer to decide the deterministic transform to use. The effectiveness of the proposed approach is illustrated by SSFN for object classification tasks using several benchmark datasets. The results show a proper performance, similar to the original SSFN, and also consistency across the different datasets. Therefore, the possibility of introducing deterministic transformations in machine learning research is demonstrated.

Due to the technologies improvement, there has been a huge growth in the demand for bandwidth to support the numerous current and future digital services. In order to support this bandwidth increase, there has been a massive interest in fibber optic networks operating with coherent transmission and detection systems. First, the theory of optical modulation and detection with coherent receivers is defined, parallel to the realization of an intense study on the signal processing characteristic of these systems. Then, the necessary processing algorithms are developed for the correct functioning of the receiver system. Next is carried out the design and construction of the optical system to be implemented experimentally. Finally, several experiments are carried out with the final objective of obtaining a coherent detection system independent of the polarization state of the signals and resistant to the possible errors produced during the transmission. Obtaining a fully functional and competitive system. Con el avance de las tecnologías, se ha generado un enorme crecimiento de la demanda del ancho de banda destinado a soportar los numerosos servicios digitales actuales y futuros. Con el objetivo de soportar este incremento de ancho de banda, ha surgido un interés masivo hacia las redes de fibra óptica con sistemas de transmisión y detección coherentes. Primeramente, se define la teoría de la modulación óptica y la detección con receptores coherentes, paralelamente a la realización de un intenso estudio sobre el procesado de señal característico de estos sistemas. Seguidamente, se desarrollan los algoritmos de procesado necesarios para el correcto funcionamiento del sistema de recepción, a la vez que se realiza el diseño y construcción del sistema óptico a ser implementado experimentalmente. Finalmente, se realizan diversos experimentos con el objetivo final de obtener un sistema de detección coherente independiente del estado de polarización de las señales y resistente frente a los posibles errores producidos durante la transmisión, logrando obtener un sistema plenamente funcional y competitivo. Amb l'avanç de les tecnologies, s'ha generat un enorme creixement de la demanda de l'ample de banda destinat a suportar els nombrosos serveis digitals actuals i futurs. Amb l'objectiu de suportar aquest increment d'ample de banda, ha sorgit un interès massiu cap a les xarxes de fibra òptica amb sistemes de transmissió i detecció coherents. Primerament, es defineix la teoria de la modulació òptica i la detecció amb receptors coherents, paral·lelament a la realització d'un intens estudi sobre el processat de senyal característic d'aquest tipus de sistemes. Seguidament, es desenvolupen els algoritmes de processat necessaris per el correcte funcionament del sistema de recepció, alhora que es realitza el disseny i construcció del sistema òptic a ser implementat experimentalment. Finalment, es realitzen diversos experiments amb l'objectiu final d'obtenir un sistema de detecció coherent independent de l'estat de polarització de les senyals i resistent davant dels possibles errors produïts durant la transmissió, aconseguint obtenir un sistema plenament funcional i competitiu.

Due to the technologies improvement, there has been a huge growth in the demand for bandwidth to support the numerous current and future digital services. In order to support this bandwidth increase, there has been a massive interest in fibber optic networks operating with coherent transmission and detection systems. First, the theory of optical modulation and detection with coherent receivers is defined, parallel to the realization of an intense study on the signal processing characteristic of these systems. Then, the necessary processing algorithms are developed for the correct functioning of the receiver system. Next is carried out the design and construction of the optical system to be implemented experimentally. Finally, several experiments are carried out with the final objective of obtaining a coherent detection system independent of the polarization state of the signals and resistant to the possible errors produced during the transmission. Obtaining a fully functional and competitive system. Con el avance de las tecnologías, se ha generado un enorme crecimiento de la demanda del ancho de banda destinado a soportar los numerosos servicios digitales actuales y futuros. Con el objetivo de soportar este incremento de ancho de banda, ha surgido un interés masivo hacia las redes de fibra óptica con sistemas de transmisión y detección coherentes. Primeramente, se define la teoría de la modulación óptica y la detección con receptores coherentes, paralelamente a la realización de un intenso estudio sobre el procesado de señal característico de estos sistemas. Seguidamente, se desarrollan los algoritmos de procesado necesarios para el correcto funcionamiento del sistema de recepción, a la vez que se realiza el diseño y construcción del sistema óptico a ser implementado experimentalmente. Finalmente, se realizan diversos experimentos con el objetivo final de obtener un sistema de detección coherente independiente del estado de polarización de las señales y resistente frente a los posibles errores producidos durante la transmisión, logrando obtener un sistema plenamente funcional y competitivo. Amb l'avanç de les tecnologies, s'ha generat un enorme creixement de la demanda de l'ample de banda destinat a suportar els nombrosos serveis digitals actuals i futurs. Amb l'objectiu de suportar aquest increment d'ample de banda, ha sorgit un interès massiu cap a les xarxes de fibra òptica amb sistemes de transmissió i detecció coherents. Primerament, es defineix la teoria de la modulació òptica i la detecció amb receptors coherents, paral·lelament a la realització d'un intens estudi sobre el processat de senyal característic d'aquest tipus de sistemes. Seguidament, es desenvolupen els algoritmes de processat necessaris per el correcte funcionament del sistema de recepció, alhora que es realitza el disseny i construcció del sistema òptic a ser implementat experimentalment. Finalment, es realitzen diversos experiments amb l'objectiu final d'obtenir un sistema de detecció coherent independent de l'estat de polarització de les senyals i resistent davant dels possibles errors produïts durant la transmissió, aconseguint obtenir un sistema plenament funcional i competitiu.