Search

Federalno učenje je paradigma kolaborativnog učenja koja se brzo razvija i trenira modele neuronske mreže na uređajima korisnika. Federalno učenje se distribuira, a samo se rezultati treniranja dijele sa središnjim poslužiteljem, čuvajući privatnost. Modeli temeljeni na Transformerima su modeli strojnog učenja koji se koriste za predviđanje slijeda riječi u obradi prirodnog jezika (NLP). Ovaj rad istražuje ideju o treniranju Transformera u arhitekturi udruženog učenja na zadatku prepoznavanja imenovanih entiteta (NER). Transformeri za treniranje mogu se provesti korištenjem nasumično inicijaliziranih ili prethodno treniranih modela. Ovaj rad analizira rezultate treniranja prethodno treniranih BERT modela u federalnom učenju. Sve 24 manje veličine BERT modela koriste se u eksperimentima za istraživanje utjecaja slojeva i veličina sakrivenih slojeva (H) pri korištenju unaprijed treniranih modela. Uvježbani modeli se procjenjuju na dobro poznatim skupovima podataka, a konačni rezultati se navode i analiziraju. Izvorni kod se može pronaći na Githubu: https://github.com/fipu-lab/ner-federated Federated learning is a fast-emerging collaborative learning paradigm of training neural network models on users' devices. Federated learning is distributed, and only training results are shared with a central server, preserving privacy. Transformer-based models are machine learning models used for word sequence prediction in natural language processing. This paper explores the idea of training Transformers in federated learning architecture on a named-entity recognition (NER) task. Training Transformers can be conducted using randomly initialized or pre-trained models. This paper analyses results of training pre-trained BERT models in Federated learning. All 24 smaller BERT model sizes are used in the experiments to explore the impact of layers and hidden size when using pre-trained models. Trained models are evaluated on well-known datasets, and the final results are provided and analyzed. Source code can be found on Github: https://github.com/fipu-lab/ner-federated

Rad daje pregled područja federalnog učenja. Predstavlja motivaciju i okolnosti koje su dovele do njegovog razvoja. Nadalje opisujemo ključne izazove s kojima se federalno učenje suočava. Također prikazuje korisnu taksonomiju za kategorizaciju i analizu sustava za federalno učenje. Predlaže sustav za federalno učenje implementiran u programskom jeziku Python i sustavu za razmjenjivanje poruka Apache Kafka. Objašnjava motivaciju odabira konkretnih tehnologija i način na koje su integrirane u sustav. Konačno, prikazujemo kratku analizu performansi izgrađenog sustava. Sustav je testiran za preciznost i skalabilnost sa zaključkom da postiže zadovoljavajuće performanse u obje kategorije. This thesis presents an overview of federated learning. It shows the circumstances and motivation which led to its development as well as the challenges that federated learning faces. We present a categorization of federated learning, useful for analyzing a given federated learning system. Furthermore, we present an implemented federated learning system implemented in Python using the distributed messaging system Apache Kafka. Moreover, we present the reasoning behind the selection of these technologies and how they were incorporated into the system. Finally, we analyze the performance of the created system. Model quality and scalability were tested with the results showing that the system performed well

Federalnog učenje je kolaborativna, distribuirana metoda za učenje globalnog dijeljenog modela. Koristi računalne mogućnosti krajnjih uređaja (pametni telefoni, uređaji u ugradbenim sustavima, internetu stvari, računarstvu na rubu itd.) za obavljanje procesa strojnog učenja, pri čemu se za treniranje koriste lokalni podaci. Svaki krajnji uređaj (klijentski čvor) trenira lokalni model nad svojim podacima, a centralni čvor kreira globalni model na temelju lokalnih modela. Lokalni podaci svakog klijenta, koji su često privatni, nikada se ne dijele s nekom trećom stranom i na taj način je sačuvana privatnost klijenta. Kako bi se olakšalo istraživanje federalnog učenja razvijeni su programski okviri za federalno učenje, a jedan od njih je Flower. U ovom radu proučeno je područje federalnog učenja, te programski okvir Flower i njegove karakteristike i prednosti u odnosu na slične programske okvire. Implementiran je sustav za stvaranje zajedničkog modela temeljen na programskom okviru Flower, te su ispitane performanse sustava s obzirom na dostignuti kvalitetu zajedničkog globalnog modela i modela dobivenog metodom klasičnog centralnog strojnog učenja. Federated learning (FL) is collaborative, distributed method of machine learning used to create a shared global model. It uses computing capabilities of end devices (smartphones, devices in embedded systems, IoT, edge computing etc.) for machine learning on their local data. Every end device (client node) trains a local model on its local data, while central node creates global shared model based on information from local models. Local data of each client, which is often private, is never shared with other party and privacy of clients is preserved. To make exploration and development of federated learning easier, several frameworks for federated learning have been developed, one of which is Flower. In this work the field of federated learning is described and Flower framework for federated learning is explored. Using Flower framework, system for creating a shared global model is developed and its performance is evaluated based on achieved quality of shared global model and model created using classic centralized method of machine learning.