Deep Neural Models for Extractive Text Summarization

Velika količina javno dostupnih tekstnih podataka omogućila je brz razvoj dubokih neuronskih modela za obradu prirodnog jezika. Jedan od zadataka obrade prirodnog jezika koji je posebno profitirao od velika količina teksta, a koji istovremeno ima potencijal riješiti problem prekomjernosti podataka, jest strojno sažimanje teksta. Posebice, cilj ekstraktivnog sažimanja teksta jest stvaranje kratkog ali informacijskog bogatog i sažetog podskupa izvornog teksta. Tema ovog rada jest istražiti i (re)implementirati nov pristup unutar područja ekstraktivnog sažimanja, koji se fokusira na ekstrastivno sažimanje u kontekstu semantičkog podudaranja teksta. Do sada je većina neuronskih ekstraktivnih modela sažimanja slijedila istu paradigmu: izdvoji rečenice, ocijeni ih i odaberi one koje nose najviše informacija. Međutim, odabirom samo najistaknutijih rečenica često dobivamo sažetak u kojem je većina rečenica suvišna. Zhong i suradnici (2020.) predložili su nov pristup u kojem se, umjesto pojedinačnog biranja najistaknutijih rečenica (sažimanje na razini rečenice), naglasak stavlja na istovremeno generiranje i odabir najistaknutijih sažetaka (sažimanje na razini sažetka). Cilj rada jest nadograditi ovu novu paradigmu, istražiti nedostatke prethodnih i trenutnih modela te potencijalno poboljšati izvedbu ovog novog pristupa ekstrativnog sažimanja. Radu priložiti izvroni i izvršni kod modela, skupove podataka i programsku dokumentaciju te citirati korištenu literaturu. Large amounts of publicly available textual data made possible the rapid developments of neural natural language processing (NLP) models. One of the NLP tasks that particularly benefited from large amounts of text, but which at the same time holds promise for solving the problem of data overabundance, is automated text summarization. In particular, the goal of extractive text summarization is the production of a short but informationally rich and condensed subset of the original text. The topic of this thesis is to research and (re)implement a new approach within the extractive summarization field, which focuses on framing extractive summarization as a semantic text-matching problem. As of now, most of the neural extractive summarization models follow the same paradigm: extract sentences, score them and pick the most salient ones. However, by choosing the most salient sentences, we are often left with a summary where most sentences are redundant. Zhong et al. (2020) proposed a novel paradigm where instead of choosing the salient sentences individually (sentence-level summarization), the focus is on simultaneously generating and picking the most salient summaries (summary-level summarization). The objective of the thesis is to reimplement this novel paradigm, research the flaws of previous models, and potentially improve the capabilities of this new summarization approach. All references must be cited, and all source code, documentation, executables, and datasets must be provided with the thesis.