Semiautomatische Annotation von Orten in digitalisierten Altkarten

Altkarten werden zunehmend in die Bestände digitaler Bibliotheken aufgenommen, um den Zugang zu diesen historisch wertvollen Dokumenten einer breiteren Masse an Benutzern zu ermöglichen. Dabei wurde der Bedarf identifiziert, die digitalen Kopien der Altkarten mit Annotationen anzureichern, die eine schnelle Suche nach relevanten Informationen und Verlinkung mit anderen Dokumenten ermöglichen. Da eine solche manuelle Annotation von Altkarten mit einem hohen Arbeitsaufwand und hohen Kosten verbunden ist und deswegen nur für besonders wertvolle Dokumente vorgenommen wird, bleibt die große Masse der Altkarten unerschlossen. Mit dieser Motivation wurde in der vorliegenden Forschungsarbeit das Ziel gesetzt, die in den Altkarten enthaltenen Informationen weitgehend automatisch zu finden und zu annotieren. Allerdings sind die existierenden Methoden zur automatischen Informationsextraktion aus Landkarten auf moderne Karten ausgelegt und beschränken sich meist auf bestimmte Kartentypen, die ähnliche grafische Merkmale aufweisen. Die Annotation von Altkarten wurde bisher nur durch Werkzeuge unterstützt, die eine manuelle Erfassung der Kartendaten und eine digitale Speicherung der annotierten Informationen ermöglichen. Ausgehend von diesem zu Beginn dieser Forschungsarbeit gegeben Rahmen wurden Forschungsfragen formuliert, die auf eine automatische Identifikation der Ortssignaturen, automatische Identifikation Textlabels und deren automatische Texterkennung (Optical Character Recognition, OCR) und eine automatische Verlinkung mit einer modernen Karte oder einer geographischen Datenbank ausgerichtet sind. Um die gestellten Forschungsfragen zu beantworten wurden hauptsächlich Methoden des maschinellen Lernens genutzt. Sowohl klassische Methoden des maschinellen Lernens als auch Deep-Learning-basierte Verfahren wurden erweitert, um den Anforderungen der spezifischen Domäne der Altkarten gerecht zu werden. Als Datensatz wurden Altkarten von Luxemburg und dem Fränkischen Reichskreis benutzt. Um Ortssignaturen automatisch zu finden, wurde in dieser Arbeit eine Template-Matching-Variante entwickelt, die robust gegenüber Störobjekten in der unmittelbaren Nähe der zu erkennenden Ortssignaturen ist. Die Methode ist auch in anderen Bereichen mit ähnlichen Eigenschaften anwendbar. Weiterhin wurden sowohl regelbasierte als auch statistische Verfahren auf die Domäne der Altkarten zugeschnitten, um die Position der Textlabels in den Altkarten zu finden. Um die identifizierten Texte lesbar zu machen, wurde eine eigene OCR-Engine implementiert, die nur einem Viertel der Zeichenfehler aufweist, die ein übliches OCR-Tool, bei Verwendung derselben Trainingsdaten, erreicht. Die Georeferenzierung wurde sowohl zwischen einer Altkarte und einer modernen Karte, als auch zwischen zwei Altkarten untersucht. Es wurde festgestellt, dass eine automatische Georeferenzierung zwischen zwei Altkarten nicht nur genutzt werden kann, um Fehler in der manuellen Annotation zu finden, sondern auch neue historische Erkenntnisse liefern kann, wie beispielsweise kleine Änderungen in den Kupferplatten über die Zeit, von denen die Karten gedruckt wurden (z.B. Hinzufügen von einer kleinen Anzahl von Orten, das sonst nirgendwo dokumentiert ist). Zum Erfassen von Trainings- und Testdaten wurde ein Referenzierungs- und Annotationstool implementiert. Dieses kann auch genutzt werden um die Automatisierungen zu testen sowie automatisch erfasste Daten zu korrigieren. Insgesamt leistet die vorliegende Arbeit einen Beitrag in den Bereichen Objekterkennung in Grafiken, Scene Text Detection, OCR und Georeferenzierung. Es wird gezeigt, mit welchem Aufwand einzelne Teile und der Gesamtbereich der Altkarten automatisch lesbar gemacht werden kann und wo die momentanen Grenzen der Automatisierung liegen. Zum Schluss zeigt diese Arbeit, wie groß das Potential und die Wirkung solcher digitalen Werkzeuge im ganzen Bereich Digital Humanities ist. Old maps are increasingly being digitised and included in digital libraries to provide access to these historically valuable documents to a wider audience. The need was identified to enrich the digital copies of the old maps with annotations that enable a quick search for relevant information and linking with other documents. Because such a manual annotation of old maps is a labour- and cost-intensive process and is therefore only carried out for particularly valuable documents, the large mass of old maps remains unexplored. With this motivation, the aim of this research project was to automatise to a great extent the process of object detection and annotation in the old maps. However, existing methods for automated information extraction from maps are designed for modern maps. They are usually limited to certain map types that have similar graphical characteristics. Alternatively there are tools for manual annotation of map data. Until now, annotation of old maps was only supported by tools that enabled manual extraction of map data and the digital storage of annotated information. The research objectives for this dissertation have been formulated based on the research frame given at the beginning of this work. The research objectives include automatic identification of place markers, automatic detection of text labels, their Optical Character Recognition (OCR) and an automatic linking with a modern map or a geographical database. In order to meet the research objectives, mainly methods of machine learning were used. Both classic machine learning methods and deep-learning-based methods have been extended to meet the requirements of the specific domain of old maps. Old maps of Luxembourg and the Franconian Circle were used as a data set. In order to find place markers automatically, a template matching variant was developed which is robust against interfering objects next to the place markers to be recognised. The method is also applicable in other areas with similar properties. Furthermore, both rule-based and statistical methods were tailored to the domain of the old maps with the purpose to find the position of the text labels. In order to make the identified texts readable, a new OCR engine was implemented that produces only a quarter of the character errors compared with a state-of-the-art OCR tool, while using the same training data. The georeferencing was examined for two types of map pairs: an old and a modern map, and two old maps. It was found that automatic georeferencing between two old maps can not only be used to find errors in manual annotations, but can also provide new historical insights, such as small changes in the copper plates from which the maps were printed (e.g. adding a small number of places that is not documented anywhere else). A referencing and annotation tool has been implemented to collect training and test data. This tool can also be used to test the automations and to correct automatically collected data. Overall, the present work makes a contribution in the areas of object recognition in graphics, scene text detection, OCR and georeferencing. It is shown which effort is needed to make individual parts or the entire area of old maps automatically readable and where the current limits of the automation are. Finally, this research shows the huge potential and the impact of such digital tools in the entire area of digital humanities.