Multiple-input multiple-output (MIMO) technologies were developed to increase system capacity and offer better link reliability. They allow a dense network architecture that will allow many users to connect in the same area without experiencing slowdowns. 5G networks and beyond will use these MIMO technologies with many small antennas allowing the beam to be focused on a given area. Coupled with high-frequency bands, the use of these antennas will significantly increase throughput.In such systems, multi-user (MU)-MIMO detection in the uplink reception and MU-MIMO precoding in the downlink transmission enable separating user data streams and pre-cancelling interference. However, some challenges have to be met under realistic conditions such as the reasonable complexity of the decoding and precoding processes, the erroneous channel knowledge, and the adjacent cell interference. This thesis addresses all these limitations above for the uplink reception and the downlink transmission in MU-MIMO systems.In the uplink reception, we study the well-known sphere decoding (SD) algorithm for MIMO detection. We seek to reduce its complexity which increases exponentially with the number of antennas and the constellation size. Thus, we profit from recent advances in neural networks (NNs) to develop the low-complexity NN assisted SD. We also propose the block recursive MIMO decoding, which achieves almost the maximum likelihood (ML) performance. Using deep neural networks (DNNs), we suggest a new and low complex scheme for signal processing and cloud-RAN (C-RAN) detection. This DNN scheme aims to mimic the whole transmission in uplink C-RAN, which considers the quantization constraints at the radio remote units (RRUs) and the corrupted observations at the central processor (CP).In the downlink transmission, we study the non-linear vector perturbation (VP) precoding. We design the combined VP to serve multiple users with different modulation coding schemes (MCSs). We also introduce the block VP algorithm, which merges both linear and non-linear precoding to offer a tunable tradeoff between complexity and performance. To deal with the erroneous channel state information (CSI) in the downlink precoding, we develop the new CSI accuracy indicator reporting to design a novel precoder that is less sensitive to CSI errors., Les technologies à entrées multiples et sorties multiples (MIMO) ont été développées pour augmenter la capacité du système et offrir une meilleure fiabilité de la liaison. Ils permettent une architecture réseau dense qui permettra à de nombreux utilisateurs de se connecter dans la même zone sans subir de ralentissements. Les réseaux 5G et au-delà utiliseront ces technologies MIMO avec de nombreuses petites antennes permettant au faisceau de se concentrer sur une zone donnée. Couplées à des bandes haute fréquence, l'utilisation de ces antennes augmentera considérablement le débit. Dans ces systèmes, la détection multi-utilisateurs (MU)-MIMO dans la réception de la liaison montante et le précodage dans la transmission de la liaison descendante permettent de séparer les flux de données utilisateur et de pré-annuler les interférences. Cependant, certains défis doivent être relevés dans des conditions réalistes telles que dans des conditions réalistes telles que la complexité raisonnable des processus de décodage et de précodage, la connaissance erronée des canaux et l'interférence des cellules adjacentes. Cette thèse aborde toutes ces limitations ci-dessus pour la réception en liaison montante et la transmission en liaison descendante dans les systèmes MU-MIMO. Pour la réception sur la liaison montante, nous étudions l'algorithme bien connu de décodage par sphères (SD) pour la détection MIMO. Nous cherchons à réduire sa complexité qui augmente de manière exponentielle avec le nombre d'antennes et la taille de la constellation. Ainsi, nous profitons des récentes avancées dans le domaine des réseaux de neurones (NNs) pour développer le SD assisté par les NNs de faible complexité. Nous proposons également le décodage MIMO récursif par blocs, qui atteint presque la performance de maximum de vraisemblance (ML). En utilisant les réseaux neuronaux profonds (DNNs), nous suggérons un nouveau schéma peu complexe pour le traitement et la détection du signal dans la liaison montante du cloud-RAN (C-RAN). Ce schéma DNN vise à imiter toute la transmission en liaison montante C-RAN, qui prend en compte les contraintes de quantification au niveau des unités radio distantes (RRUs) et les observations corrompues au niveau du processeur central (CP).Dans la transmission en liaison descendante, nous étudions le précodage de la perturbation vectorielle (VP) non-linéaire. Nous concevons le VP combiné pour servir plusieurs utilisateurs avec différents schémas de codage de modulation (MCSs). Nous introduisons également l'algorithme VP par blocs, qui fusionne le précodage linéaire et non-linéaire pour offrir un compromis accordable entre complexité et performance. Pour traiter les informations erronées sur l'état du canal (CSI) dans le précodage de la liaison descendante, nous développons le nouvel indicateur de précision CSI pour concevoir un nouveau précodeur moins sensible aux erreurs CSI.