Search

This paper presents an unsupervised approach for writer retrieval based on clustering SIFT descriptors detected at keypoint locations resulting in pseudo-cluster labels. With those cluster labels, a residual network followed by our proposed NetRVLAD, an encoding layer with reduced complexity compared to NetVLAD, is trained on 32x32 patches at keypoint locations. Additionally, we suggest a graph-based reranking algorithm called SGR to exploit similarities of the page embeddings to boost the retrieval performance. Our approach is evaluated on two historical datasets (Historical-WI and HisIR19). We include an evaluation of different backbones and NetRVLAD. It competes with related work on historical datasets without using explicit encodings. We set a new State-of-the-art on both datasets by applying our reranking scheme and show that our approach achieves comparable performance on a modern dataset as well.

Deep Learning ist eine der aufstrebendsten Technologien des letzten Jahrzehntes in verschiedensten Bereichen. Verschiedenste medizinische Bereiche befassen sich seit über 10 Jahren intensiv damit. Dies gilt für die medizinische Bildgebung als auch für die Strahlentherapie, wo eine der Herausforderungen die Dosisberechnung ist. Diese werden dann mit einer Planungssoftware in einen Behandlungsplan, welcher Maschinenparameter für einTherapiegerät (z.B. einen Linearbeschleuniger) beinhaltet, übersetzt. Dieser Prozess istim Vergleich zur Rechenzeit der Dosisverteilung zeitintensiv und könnte mit Hilfe einer räumlichen Abbildung zwischen Dosisinformation und dazugehörigen Maschinenoperationen übersprungen werden. In dieser Masterarbeit sollte ein Ansatz untersucht werden, die Plangenerierung mittels neuronaler Netzwerke zu bewerkstelligen und die obengenannten Restriktionen zu vermeiden. Aufgrund fehlender bisheriger Ansätze im Bereich von VMAT-Plänen (volumetric arc therapy), lag der Fokus auf einer ersten Methodik mit Hilfe von Behandlungsplänen von Patienten mit Prostatakarzinomen, welche sich besonders aufgrund der einfachen Geometrie und der symmetrischen Anatomie dafür eignen. Segmentierte Dosisverteilungen von 418 VMAT Plänen wurden als Modelleingang verwendet. Das neuronale Netzwerk wurde als 3D Encoder-Decoder gewählt, mit mehreren Ein- und Ausgängen. Die extrahierten Features wurden entweder über Rotation oder Projektion transformiert, um den Blickwinkel des Linearbeschleunigers zu generieren. Der Datensatz wurde in Trainings-/Validierungs- und Testdatenset zu 300/50/68 Patienten aufgeteilt. Das Netzwerk wurde trainiert, um einerseits die Positionen des Multilamellenkollimators und der Jaws als auch die Monitor Units (MU) vorherzusehen. In der Datenvorbereitungwurden die Pläne standardisiert, um eine äquidistante Verteilung der 240 Kontrollpunkte zu gewährleisten. Die durchschnittlichen absoluten Fehler der einzelnen vorhergesagten Werte basierend auf der gewählten Transformation als auch der Netzwerkeingänge wurdenfür eine Gegenüberstellung verwendet. Die Maschinenparameter wurden zusätzlich für eine Berechnung der resultierenden Dosisverteilung verwendet. Mit diesen wurden dann Gamma Passing Rates (GPR) als auch Dosis-Volumen Histogramme (DVHs) berechnet. Das Netzwerk konnte die Positionen und die MU mit einer Genauigkeit von 3.1 mm / 5.6 mm bzw 1.3 MU vorhersagen. Netzwerke mit einer Projektion als Transformation für die Generierung des Blickwinkels waren um 20% besser als Netzwerke mit Rotation. Ein durchschnittlicher 3 mm / 3% GPR-Wert von 33% wurde erzielt. Bezüglich DVHs waren die Fehler der dosisspezifischen Parameter der Risikoorgane maximal 15%, wohingegen für das PTV ein durchschnittlicher Fehler von 46% erreicht wurde. Obwohl die Resultate die klinischen Vorgaben nicht erfüllten, ist der Ansatz prinzipiell vielversprechend mit Hinblick auf die vorhergesagten Maschinenparameter. Die Ergebnisse können noch verbessert werden mit Hilfe von einem erhöhten GPU-Speicher als auch mit erweiterten Methoden in Bezug auf den Trainingsprozess des Netzwerkes und dessen Fehlerrückführung., Deep learning is experiencing an enormous amount of popularity since the last decade. A wide variety of different medical domains is being explored for over ten years. This also applies for medical imaging and radiation therapy where one particular challenge is the prediction of dose distributions. Those are forwarded to a Treatment Planning System (TPS) which generates a deliverable plan - consisting of machine parameters for a treatment unit (e.g a linear accelerator) - using iterative optimization algorithms. This process is in comparison to the dose distribution calculation time consuming which could be overcome by learning a mapping between the spatial dose information and the correlated machine operations. In this thesis, a first approach for tackling these restrictions of treatment plan generationwas investigated by using modern deep learning techniques such as neural networks. Due to the lack of research in the field of volumetric arc therapy (VMAT), a proof of concept was performed by considering single arc plans of prostate cancer patients due to the simple geometry and symmetric anatomy. Segmented dose distributions of 418 patients treated with VMAT for prostate cancer were selected as model input. The network was designed as a 3D encoder-decoder with multiple decoding paths. Latent space manipulations were performed to mimic known geometric operations, such as rotation and projection to generate beams-eye-views for the controlpoints of the VMAT arc. The dataset was split into a training/validation/test set of300/50/68 patients to examine the performance during and after the training process. The model was trained to predict MLC, jaw positions and the meterset (MU) at predefined control points. In a preprocessing step the treatment plans were standardized to a fixed number of 240 control points uniformly distributed over 360°. Mean Absolute Errors (MAEs) of single features regarding this latent space transformation and different inputs were calculated in order to compare performance and reduce memory usage for efficiency. The predicted machine parameters were used to compute resulting dose distributions. Dosimetric evaluation including a Gamma Passing Rate (GPR) analysis as well as Dose-volume histograms (DVH) were conducted. The neural network was capable of reproducing the MLC positions, the jaw positions and the meterset with an average error of 3.1 mm, 5.6 mm and 1.3 MU, respectively. Regarding latent space manipulation, networks with projection performed 20 % better than the ones with rotation. An average 3mm/3% GPR value of 33% was achieved. For results regarding DVHs, dose characteristics on organs at risk had a maximum error of 15% whereas for the PTV an average error of V95% of 46% was calculated. Although those results did not meet clinical goals, the approach in principle is promising regarding MLC and jaw shapes. The results are yet to be improved by increasing GPU memory and considering advanced techniques for error backpropagation.