Přenos učení pro rozpoznávání českých historických pojmenovaných entit

V dnešní době dosáhlo rozpoznávání pojmenovaných entit (NER) vynikajících výsledků na standardních korpusech. Objevují se však velké problémy při jejich použití ve specifické doméně, protože rozpoznávání vyžaduje vhodný anotovaný korpus. To je patrné zejména v oblasti zpracování historických dokumentů. Hlavním cílem tohoto příspěvku je navrhnout a srovnat několik metod přenosu učení (transfer learning) ke zvýšení skóre českého historického NER. Studujeme několik informačních zdrojů a pro rozpoznávání používáme dvě neuronové sítě. Pro vyhodnocení metod využíváme dva korpusy: českých pojmenovaných entit a českých historických pojmenovaných entit. Ukazujeme, že BERT reprezentace s doladěním a jednoduchým klasifikátorem natrénovaným na spojených korpusech dosahuje vynikajících výsledků. Nowadays, named entity recognition (NER) achieved excellent results on the standard corpora. However, big issues are emerging with a need for an application in a specific domain, because it requires a suitable annotated corpus with adapted NE tag-set. This is particularly evident in the historical document processing field. The main goal of this paper consists of proposing and evaluation of several transfer learning methods to increase the score of the Czech historical NER. We study several information sources, and we use two neural nets for NE modeling and recognition. We employ two corpora for evaluation of our transfer learning methods, namely Czech named entity corpus and Czech historical named entity corpus. We show that BERT representation with fine-tuning and only the simple classifier trained on the union of corpora achieves excellent results.