Optimizing Consensus Protocols with Machine Learning Models : A cache-based approach

Distributed systems offer a reliable and scalable solution for tackling massive and complex tasks that cannot be handled by a single computer. However, standard consensus protocols used in such systems often replicate data without considering the workload, leading to unnecessary retransmissions. This thesis proposes using machine learning (ML) to optimize consensus protocols and make them adaptable to recurring workloads. It introduces a cache that encodes frequently-transmitted data between nodes to reduce network traffic. To implement this, the thesis builds a caching layer at all nodes using the decided logs, which represent a consistent view of the application history. The cache can encode and decode incoming log entries to reduce the average message size and improve throughput under limited network bandwidth. The thesis selects an ML-based model that combines various caching policies and adapts to changing access patterns in the workload. Experimental results show that this approach can improve throughput up to 250%, assuming negligible preprocessing overhead.
Distribuerade system erbjuder en pålitlig och skalbar lösning för att hantera massiva och komplexa uppgifter som inte kan hanteras av en enskild dator. Konventionella konsensusprotokoll som används i dessa system replikerar emellertid ofta data utan att ta hänsyn till arbetsbelastningen, vilket leder till överflödig dataöverföring. Denna avhandling föreslår att använda maskinin lärning (ML) för att optimera konsensusprotokoll och göra dem anpassade till återkommande mönster i arbetsbelastningen. Den introducerar en cache som kodar och komprimerar data som ofta överförs mellan noder för att minska nätverkstrafiken. För att implementera detta byggs ett cache baserat på den bestämda loggen på alla noder, som representerar en konsekvent syn på programhistoriken. Cachen kan koda inkommande data för att minska genomsnittlig meddelandestorlek och förbättra genomströmning under begränsad nätverksbandbredd. En ML-baserad modell som kombinerar olika cachningpolicyer och anpassar sig till ändrade åtkomstmönster i arbetsbelastningen används. Experimentella resultat visar att denna metod kan förbättra genomströmningen med 250%, under förutsättning att förbearbetningsöverhuvudet är försumbart.