Search

U svijetu ovisnom sve više o online i cloud tehnologijama gdje se u posljednje vrijeme odvija sve veća pohrana i obrada podataka, pojavljuje se potreba za algoritmima sažimanja i rangiranja tekstualnih datoteka, stranica i drugih izvora. Algoritmi ekstraktivnog i apstraktnog sažimanja tekstova nastoje na što brži, bolji i jednostavniji način obraditi i predstaviti velike količine tekstova u što kraćem vremenu sa što većom preciznošću. U ovom diplomskom radu riječ je upravo o nekoliko takvih algoritama te se prvenstveno usmjerava na algoritme ekstraktivne prirode. Kako bi se utvrdila važnost rečenice, njihova međusobna povezanost te koje rečenice imaju veće značenje razvijeni su različiti algoritmi sličnosti rečenica. Ovdje se primjenjuju algoritmi sličnosti kosinusa, Jaccardova sličnost, te Mihalcea sličnost (Mihalcea, Corley i Strapparava 2006) te algoritmi rangiranja i sažimanja SBKE (Beliga, Martinčić-Ipšić i Meštrović 2016) i LexRank. Na temelju formiranih grafova i primjene različitih mjera sličnosti rečenica pristupom stvaranja grafova, SBKE je ostvario najbolji rezultat u kombinaciji sa Jaccardovom mjerom sličnosti do 19,04% , LexRank u kombinaciji s Mihalcea algoritmom sličnosti rečenica do 16,26%, algoritam sažimanja na temelju Kullback_Leiblerove divergencije je ostvario 8,96% točnosti, a TextRank, koji koristi čisti PageRank algoritam bez mjera sličnosti, je ostvario rezultat od 17,04%. Također su primijenjeni i klasifikatori na temelju TF-IDF, word2vec i doc2vec vektora. Algoritam slučajnih šuma je ostvario najbolji rezultat od 76,51%, algoritam Naîvnog Bayesa je ostvario najbolji rezultat od 91,36%, dok je SVM klasifikator ostvario najbolji rezultat od 90,43%., In the world growingly more dependent on online and cloud technologies, where society stores and processes more and more data, the need for algorithms capable of summarizing and ranking texts, websites and other sources is constantly rising. Extractive and abstractive text summarization algorithms strive for faster, better and simpler solutions towards large quantities of text processing and representation in shortest time possible with the best precision. This paper talks about such algorithms with the focus on those with extractive nature. In order to decide on the importance of the sentence, various algorithms are developed, taking the interconnectedness of the sentences into account. Cosine similarity, Jaccard similarity and Mihalcea similarity (Mihalcea, Corley i Strapparava 2006), as well as LexRank and SBKE (Beliga, Martinčić-Ipšić i Meštrović 2016) summarizers, are being presented. Based on graphs using all the given sentence similarity measures, SBKE scored the best result of 19,04% using Jaccard similarity measure, LexRank resulted with 16,26% F1 score, the KL divergence summarizer resulted with 8,96% F1 score and TextRank, which uses the PageRank algorithm without any mentioned similarity measure, has an F1 score of 17,04%. For text classification, based on TF-IDF, word2vec and doc2vec algorithms, Random forest scored the best result of 76,51%, Naîve Bayes scored the best result of 91,36% and SVM scored the best result of 90,04%., In einer Welt von Online- und Cloud-Technologien zunehmenden Abhängigkeit werden heutzutage die Daten immer mehr gespeichert und verarbeitet und Algorithmen für die automatische Zusammenfassung und Ranking von Textdateien, Seiten und anderen Quellen werden benötigt. Die extraktiven und abstraktiven Algorithmen versuchen am schnellsten, mit größtmöglicher Präzision in kürzester Zeit die Textmengen zu verarbeiten und darzustellen. Diese Arbeit befasst sich mit mehreren solcher Algorithmen und konzentriert sich auf extraktive Algorithmen. Um die Wichtigkeit eines Satzes festzustellen, sein Zusammenhang und welche Sätze eine größere Wichtigkeit haben, wurden die verschiedene Satzähnlichkeitsalgorithmen entwickelt. In dieser Arbeit werden Kosinus-Ähnlichkeitsalgorithmen, Jaccard Ähnlichkeit und Mihalcea Ähnlichkeit sowie die Algorithmen für die automatische Zusammenfassung von Texten SBKE und LexRank verwendet. Auf der Grundlage der gebildeten Graphen und der Anwendung verschiedener Satzähnlichkeitsalgorithmen erzielte SBKE das beste Ergebnis in Kombination mit Jaccards Satzähnlichkeitsalgorithmus bis zu 19,04 Prozent, LexRank in Kombination mit Mihalcea Satzähnlichkeitsalgorithmus bis zu 16,26 Prozent, Kullback-Leibler Divergenz Algorithmus für die automatische Zusammenfassung erzielte das beste Ergebnis bis zu 8,96 Prozent und TextRank erreichte ein Ergebnis von 17,04 Prozent Die Klassifizierungsalgorithmen basierend auf TF-IDF, word2vec und doc2vec Vektoren wurden ebenfalls verwendet. Der Random Forest Algorithmus erzielte das beste Ergebnis bis zu 76,51 Prozent, der Naîve Bayes erzielte das beste Ergebnis bis zu 91,36 Prozent, während der SVM erzielte das beste Ergebnis bis zu 90,04 Prozent.

Prelaskom u informacijsko doba započela je nagla digitalizacija. Povećanjem broja korisnika interneta, broj dostupnih informacija neprestano raste i dolazi do preopterećenja informacijama. Rješavanje tog problema zahtijeva analizu i obradu podataka za što se, između ostalog, grade sustavi za preporučivanje. U radu je predloženo programsko ostvarenje sustava koji korisniku preporučuje kompetencije na osnovi poznatih informacija o njemu. Rad programskog rješenja i teorijska znanja potrebna za razvoj sustava detaljno su objašnjeni. Sustav je zasnovan na suradnji i preporuke stvara tražeći slične korisnike. Učinkovitost sustava ispitana je prikladno odabranim mjerama te su predstavljeni rezultati i mogućnosti poboljšanja trenutnog rješenja. Advancement to the information age led to rapid digitalization. Increase in the number of Internet users and available digital information leads to information overload. Solving this problem requires work in information analysis and processing, for that purpose recommender systems are built. This paper proposes a realization of a system used to recommend skills to the user, based on previously accumulated information about the user. The paper presents functionality of the system, as well as theory knowledge needed for building such a system. Built system is a collaborative recommender system that gives recommendations based on similarities between users. Work of the system is tested using appropriate evaluation measures. Finally, the results of the evaluation and possible improvements of the current system are discussed.

Ovaj se rad ukratko osvrće na motivaciju iza sustava preporučivanja te njihove najvažnije vrste. Objašnjeni su principi rada sustava preporučivanja zasnovanih na sadržaju, kao i onih zasnovanih na suradničkom filtriranju uporabom poznatijih primjera. Suradničko filtriranje pojašnjeno je kroz podjelu na pristupe zasnovane na modelu i one zasnovane na memoriji, s naglaskom na potonjem. Nadalje, spomenute su najčešće mjere točnosti koje se koriste za evaluaciju sustava preporučivanja. Osim toga, sadržan je postupak izgradnje sustava preporučivanja filmova uporabom suradničkog filtriranja zasnovanog na memoriji te njegova evaluacija. This paper briefly covers the motivation behind recommender systems and their most important types. It explains basic principles of content-based recommender systems, as well as those based on collaborative filtering using well-known examples. Collaborative filtering is clarified using division amongst model-based and memory-based approaches, with the emphasis on the latter. Furthermore, it mentions most common accuracy measures used to evaluate recommender systems. In addition, it documents the process of building a movie recommender system using memory based collaborative filtering, as well as its evaluation.

Osnovna podjela sustava za preporučivanje uključuje preporučivanje na temelju suradnje korisnika te preporučivanje temeljem sadržaja. Dok su preporučitelji temeljeni na suradnji korisnika fokusirani na sličnosti među korisnicima ili stavkama, preporučivanje temeljem sadržaja gradi korisničke profile na temelju značajki stavke. Oba sustava imaju svoje prednosti i nedostatke, a mogu se i kombinirati u svrhu postizanja besprijekorne preporuke. U nautičkoj domeni pojavila se potreba za jednim takvim sustavom čija bi svrha bila preporučivanje voditelja brodice prema preferencijama gosta - iznajmljivača plovila, prilikom nautičkog putovanja. S tim ciljem razvijena je aplikacija SkipperBooking koja služi kao platforma za povezivanje gosta i voditelja brodice. Algoritam preporučivanja voditelja brodice kombinira preporučivanje temeljem suradnje korisnika te metode za ublažavanje cold start problema. Za razliku od sličnih postojećih aplikacija, SkipperBooking omogućuje obostrano zadovoljstvo angažmanom jer pruža visoku razinu osobne podudarnosti gosta i voditelja brodice. Recommender systems usually make use of either collaborative filtering or content-based filtering. While the collaborative filtering algorithms focus on similarities between users or items, content-based filtering algorithms create user profiles based on item descriptions. Both systems have weaknesses and strengths and can be combined in order to give an impeccable recommendation. In the nautical domain, a need has emerged for such a system whose purpose would be to recommend a skipper that matches guest’s preferences for a sailing voyage. With this in mind, SkipperBooking application has been developed as a platform for connecting guests and skippers. The algorithm for recommending skippers combines collaborative filtering and methods for mitigating the cold start problem. Unlike similar existing applications, SkipperBooking offers a mutual satisfaction as it makes sure there is a perfect fit bewteen the guest and the skipper.

U ovom radu izrađen je raspodijeljeni sustav za preporučivanje. Algoritam preporučivanja temeljen je na suradnji korisnika i korištenju matrice sličnosti objekata preporučivanja. Za izračun matrice sličnosti, podržano je nekoliko različitih mjera sličnosti, koje na temelju ulaznih statistika o korisničkim konzumacijama, računaju sličnost za sve parove objekata. Pri izračunu matrice sličnosti, omogućen je postupak normiranja redaka matrice sličnosti. Za izračun korisničkih preporuka, podržane su tri različite tehnike matričnog množenja u raspodijeljenoj okolini. Postupak predobrade podataka ostvaren je u programskom jeziku C++, dok su sve funkcionalnosti preporučitelja ostvarene u programskom jeziku Scala, uz korištenje programskog okvira Apache Spark koji omogućava raspodijeljeno izvođenje. Testiranje i evaluacija performanci implementiranog algoritma preporučivanja obavljeni su na računalnom grozdu, korištenjem stvarnih podataka iz odabranog studijskog slučaja. The result of this thesis is a distributed recommender system based on the item-item collaborative filtering. The recommendation algorithm builds an item-item similarity matrix based on the collaboratively collected data on user-item interactions, for all users in the system. The recommendation algorithm supports several similarity measures including a vector normalisation of rows in the matrix. Moreover, the recommendation algorithm supports three different distributed matrix multiplication algorithms. The entire recommender system source code is written in Scala programming language based on Apache Spark. However, the data pre-processing scripts are written in C++ programming language executed in a single-node environment. The tests and performance evaluation of the implemented algorithm were executed on a Cloudera cluster using real dataset obtained from the particular case study.