Search

Quotation marks are a tool to refer to the linguistic form of an expression. For instance, in cases of so-called pure quotation as in “Hanover” has three syllables, they point to the syllabic characteristics of the name of the town of Hanover. Cases of this nature differ from sentences like Hanover is a town in New Hampshire, in which Hanover is used denotationally and, thus, refers to the town of Hanover itself. Apart from quotation marks, other means such as italics, bold, capitalization, or air quotes represent potential means to signal a non-stereotypical use of an item in the written or gestural mode. It is far less clear, however, whether acoustic correlates of quotation marks exist. The present contribution aims at investigating this issue by focusing on instances of quotation, in which the conventionalized name of a lexical concept is highlighted by means of quotation marks, either together with or without an additional lexical quotational marker, such as so-called, on the lexical level (cf. The so-called “vuvuzela” is an instrument from South Africa vs. The “vuvuzela” is an instrument from South Africa). The data clearly show that quotation marks are pronounced, primarily triggering a lengthening effect, independently of whether they appear together with or without a name-informing context. The results of the experiments are interpreted against the background of a pragmatic implementation of quotation marks in general as well as in spoken discourse in particular.

Sensors 21 (2021) 9, 22 S., Collaboration is an important 21st Century skill. Co-located (or face-to-face) collaboration (CC) analytics gained momentum with the advent of sensor technology. Most of these works have used the audio modality to detect the quality of CC. The CC quality can be detected from simple indicators of collaboration such as total speaking time or complex indicators like synchrony in the rise and fall of the average pitch. Most studies in the past focused on "how group members talk" (i.e., spectral, temporal features of audio like pitch) and not "what they talk". The "what" of the conversations is more overt contrary to the "how" of the conversations. Very few studies studied "what" group members talk about, and these studies were lab based showing a representative overview of specific words as topic clusters instead of analysing the richness of the content of the conversations by understanding the linkage between these words. To overcome this, we made a starting step in this technical paper based on field trials to prototype a tool to move towards automatic collaboration analytics. We designed a technical setup to collect, process and visualize audio data automatically. The data collection took place while a board game was played among the university staff with pre-assigned roles to create awareness of the connection between learning analytics and learning design. We not only did a word-level analysis of the conversations, but also analysed the richness of these conversations by visualizing the strength of the linkage between these words and phrases interactively. In this visualization, we used a network graph to visualize turn taking exchange between different roles along with the word-level and phrase-level analysis. We also used centrality measures to understand the network graph further based on how much words have hold over the network of words and how influential are certain words. Finally, we found that this approach had certain limitations in terms of automation in speaker diarization (i.e., who spoke when) and text data pre-processing. Therefore, we concluded that even though the technical setup was partially automated, it is a way forward to understand the richness of the conversations between different roles and makes a significant step towards automatic collaboration analytics. (DIPF/Orig.)

Das Hauptziel dieser Arbeit ist, zur Verbesserung der Klassifikation von Phonemen und als direkte Folge davon zur Verbesserung automatischer Spracherkennung beizutragen. Die ausschlaggebende Innovation ist hierbei, dass unterschiedliche Phasen – von der Erstellung der Klassifikationsmerkmale über die innere Struktur der Klassifizierer bis hin zu deren Gesamttopologie – von ein und derselben Grundidee aus deduziert werden. Diese manifestiert sich vor allem in der Interaktion von Korrelation und der verwendeten Tristate-Modellierung von Phonemen. Basis ist dafür die Sprache eigene Charakteristik der (schwachen) Kurzzeitstationarität, repräsentiert durch Segmente mit dieser Eigenschaft und Ubergänge zwischen solchen. Die Tristate-Topologie partitioniert dabei Phoneme, oder allgemeiner Beobachtungen, in drei Bereiche, Starte, Mitte und Ende, und simuliert in Verbindung mit den bekannten Hidden Markov Modellen eben jene Zustandsfolgen von quasi statischen Momenten und Transitionen. Auf Basis der Stationarität und der Tristate Struktur entfaltet sich unser Ansatz wie folgt. Wir betrachten ein Sprachsignal als eine Realisierung eines Zufallsprozesses, welcher innerhalb kurzer Segmente o.g. Eigenschaften annimmt. Durch diese wird die Zeitunabhängigkeit der ersten beiden statistischen Momente determiniert, d.h. die Momente werden allein durch zeitliche Differenzen von Beobachtungen charakterisiert. Mit wechselnden Segmenten und Transitionen zwischen diesen ändern sich daher Auto-und Kreuzkorrelation und in infolgedessen die durch sie definierten, neu entwickelten Merkmale. In diesem Sinne analysieren wir, basierend auf herkömmlichen MFCCVektoren, in einem ersten Schritt mögliche Verbesserungen durch Verwendung von Autokorrelationsdaten und entwickeln aufgrund motivierender Resultate im Weiteren spezielle (Kreuz-) Korrelationsmerkmale. Dabei hilft die Tatsache, dass im Gegensatz zu verschiedenen MFCC-Vektorkomponenten ein und desselben Merkmalvektors (innerhalb dessen die unterschiedliche Komponenten verschiedene Frequenzbänder repräsentieren), gleiche Einträge unterschiedlicher Vektoren im Allgemeinen nicht dekorreliert sind. Im darauffolgenden Schritt geht die Operation der Korrelation direkt in die für die Phonemklassifikation benutzten Support Vektor Klassifizierer insofern ein, als dass deren (reproduzierender) Kern gewonnen wird aus besagter Transformation. Die dafür theoretischen Voraussetzungen werden hergeleitet und die notwendigen Eigenschaften des neuen reproduzierenden Kernes wird bewiesen. Einhergehend mit diesem speziellen Kern wird eine Familie aus Klassifizierern eingeführt, deren Struktur, den Features folgend, direkt an das Tristatemodel angelehnt und ebenfalls von der Korrelation beeinflusst ist. In ihrer Gesamtheit zielen die Konzepte darauf ab, die stationaritären Phasen als auch Transitionen zwischen verschiedenen Sprachsegmenten adäquater zu modellieren als bisherige Verfahren. Die Verbesserung der Erkennungsrate im Vergleich zum Standardansatz wird anschließend anhand von vergleichenden Experimenten gezeigt, und im weiteren Verlauf wird das Verfahren eingebunden in ein allgemeines automatisches Spracherkennungssystem und auf diesem ausgewertet. Vergleichende Experimente mit Standardverfahren demonstrieren dabei das Potential des neuen Ansatzes, und Vorschläge zu Verbesserungen und Weiterentwicklungen schließen die Arbeit ab. The foremost aim of this thesis is to introduce concepts targeting at improving both phoneme classification and in line with this automatic speech recognition. The most distinctive part of the herein presented, new approach is that the different stages of the analysis, from feature vector creation to classification, are all developed upon the common basis. This foundation becomes apparent by the interaction of correlation and the formal structure of a tristate phoneme model that manifests itself in short time weak stationary characteristic and transitions between such segments within phonemes. The tristate layout is a topology that partitions a phoneme, or more generally an observed frame, into three main sections, start, middle and end. In combination with the well known Hidden Markov Model (HMM) it targets at modeling the above mentioned states of transitions and stationarity. On the base of weak stationarity and the tristate structure, our approach evolves as follows. A stochastic process such as a speech signal that is short time weak stationary has first and second order moments independent of time t, they are affected only by the timespan between observations. This effect is reflected by the (auto)covariance of the process and carries over to (auto)correlation and to some degree to cross correlation. In this light, based on common MFCC feature vectors, we first analyze potential improvements when using autocorrelation data and due to motivating results introduce both new MFCC autocorrelation- and later specific cross correlation features. In this context we note that, in contrast to different components (roughly representing the different frequency bands) of a single MFCC vector, identical components across different MFCC vectors in general are not decorrelated. In a subsequent step, the cross correlation transform is integrated into support vector classifiers used for phoneme classification such that a specialized reproducing kernel utilized by the classifiers is deduced directly from the transform. The theoretical prerequisites for the new kernel to be established are derived and proven along with its necessary requirements. Concerning the support vector machines, in line with the new reproducing kernel a family of classifiers is introduced. The structure of the latter evolves around immanent aspects inherited from concepts of phoneme representation and their acoustic progression: The above mentioned tristate model. Based on the topology of the latter and the construction of the features, a specifically structured collection of classes and associated support vector classifiers is designed under additional integration of correlation. All this aims at developing a framework that represents and models both stationarity and transitions within acoustical events to a degree not achieved by recognition and classification systems hitherto. To prove the success of this approach, experiments are conducted to demonstrate the improved recognition rates resulting from the new topology. Further on, the framework is integrated into a common automatic speech recognition system and evaluated in this context. Again, experiments that compare the new approach to a standard recognition system reveal its potentials. Finally, prospects and suggestions for further potential improvements seclude the thesis.

'Correction' is the name of a sentence with contrastive focus' the phonological/phonetic realization of which is a single contrastive pitch accent. These sentences predominantly appear in (fictional) dialogues. The first speaker uses grammatical entities against which the next speaker protests with a sentence nearly identical except that it contains a prosodically marked corrective element. This paper makes contrastive focus visible by means of 'KF' (contrastive focus).

When we listen to someone talking, we try, at any given point in time, to make the connection between what is being said and the real world. Language processing incorporates information from various different sources and modalities in order to create an immediate and adequate representation of the conveyed meaning. Language processing also affects the information processing in other modalities, specifically visual perception: looks to entities in one’s visual environment while listening to spoken utterances closely mirror one’s comprehension of referring expressions in the speech stream. This behavior - noun-contingent eye movements - has been observed consistently in psycholinguistic research and has been used as a window into the conceptual layer of the language comprehension process, shedding light onto an extremely wide range of language processing phenomena. The phenomenon of noun-contingent eye movements itself is not yet fully understood though. Drawing back on concepts from spatial indexing, lexical access and priming we motivate the search for and investigation of a beneficial effect of noun-contingent referent looks on the noun’s speed of comprehension. This thesis utilizes a novel experimental methodology which makes it possible to simultaneously observe and manipulate participants’ inclination to make noun-contingent eye movements as well as record the speed of comprehension for the spoken noun that would trigger these eye movements. This is necessary if one wants to investigate a potential effect of eye movements on noun comprehension. The methodology is a combination of a classical visual-world setting, where participants listen to single spoken nouns and inspect an array of objects that may be related to the noun, and of a lexical decision task which is performed on that spoken noun and assesses the speed of its recognition. With the experiments presented in this thesis we manage to provide reliable empirical evidence for a beneficial effect of noun-contingent referent looks on the speed of noun comprehension. It is also shown that this benefit arises from the perception of the referent’s visual image (as opposed to the activation of internal referent representations or avoidance of interference from unrelated visual images) during the comprehension of the spoken noun (as opposed to a benefit from the initial recognition and encoding of the referent object). Finally, it is proposed that a spatial-indexing mechanism plays a role in mediating the strength of the effect that the visual image provided by a noun-contingent eye movement can have on the comprehension of the spoken noun. Die Verarbeitung von sprachlichen und bildlichen Reizen ist beim Menschen eng miteinander verwoben. Wer gleichzeitig gesprochener Sprache zuhört und dazu passende Dinge in seiner Umgebung sieht, wird häufig seinen Blick davon steuern lassen, welche Worte er gerade versteht. Das heißt beispielsweise, dass man, während man eine Objektbezeichnung hört, seinen Blick auf das benannte Objekt richtet. In einer Situation, in der auf ein Objekt gezeigt wird ("Schau mal, der Apfel!"), ist die Motivation für solch ein Verhalten intuitiv verständlich. Aber auch in Situationen, in denen sich gesprochene Äußerungen nicht unmittelbar auf die Umgebung beziehen, blicken Zuhörer verlässlich auf Objekte, die zu den gerade geäußerten Worten passen. Solche Blicke sind nicht unmittelbar pragmatisch motiviert, möglicherweise aber dadurch, dass das Sprachverstehen von diesem Blickverhalten profitiert. Dieser Möglichkeit gehen wir in der vorliegenden Arbeit auf den Grund. Hierzu nutzen wir eine neuartige Kombination von Forschungsmethoden, mit der man gleichzeitig Einblicke sowohl in das Sprachverstehen als auch in die visuelle Verarbeitung gewinnt. Mit dem ’Visual World’-Paradigma werden in der psycholinguistischen Forschung Erkenntnisse über zahlreiche Aspekte der Sprachverarbeitung gewonnen: In Studien zum Sprachverstehen wird der Blick eines Zuhörers zu einem Objekt, das in einer Beziehung zu einem zeitnah geäußerten Wort steht, als Zeichen dafür verstanden, dass der Zuhörer dem Wort (wenigstens zeitweise) die Bedeutung dieses Objekts zuordnet. Indem man nun mittels Eyetracking beobachtet, welche Objekte in Ihrer Umgebung Menschen anschauen, während sie gesprochene Sprache verstehen, erfährt man in einer hohen zeitlichen Auflösung, wie gesprochene Äußerungen interpretiert werden. Mit Studien dieser Art werden Blickbewegungen als Konsequenz der Sprachverarbeitung genutzt; man kann also erfahren, wie das Verstehen gesprochener Sprache die Blickbewegungen steuert. Die zweite Seite unserer zentralen Forschungsfrage ist die nach dem Einfluss der visuellen auf die sprachliche Verarbeitung. Wie wird das Verstehen eines Wortes davon beeinflusst, was man gerade sieht? Solchen Fragestellungen widmen sich Priming- und Lexical-Decision-Studien. Im Priming-Paradigma wird mit verschiedenartigen Aufgaben erforscht, wie sich die Verarbeitung eines Konzept (des Targets) durch den Kontext eines weiteren Konzepts (des Primes) verändert: Indem man Probanden beispielsweise zusätzlich zu einem zu benennenden Objekt ein weiteres Bild zeigt, das in einer engen Beziehung zu dem zu benennenden Objekt steht, gewinnt man Aufschluss darüber, wie ähnliche bildliche Informationen den Benennensprozess beeinflussen. Die lexikalische Entscheidungsaufgabe (Lexical Decision) besteht darin, zu einer kurzen Laut-oder Buchstabenfolge zu entscheiden, ob es sich dabei um ein echtes Wort handelt. Auf unsere Fragestellung angewandt ermöglichen es diese Methoden, herauszufinden, wie Blicke zu verschiedenen Arten von Objekten (Primes) das Verstehen eines gesprochenen Wortes (Targets), erfasst durch die lexikalische Entscheidungsaufgabe, beeinflussen. Wir finden mit dieser Arbeit in mehreren Experimenten Belege dafür, dass Blickbewegungen zu verwandten Objekten beim Verstehen einer Objektbezeichnung eine Auswirkung auf die Geschwindigkeit des Sprachverstehens haben. Schaut man während des Verstehens eines Wortes auf seinen Referenten, kann das den Verstehensprozess beschleunigen. Dabei profitiert man direkt davon, zeitgleich mit dem Verstehensprozess passende visuelle Informationen aufzunehmen. Vermutlich kommt in diesem Verhältnis den 'Spatial Indices' eine regulierende Rolle zu. Im Rahmen von Theorien über Spatial Indexing und External Memory (Spivey, Richardson, & Fitneva, 2004) wird angenommen, dass man auf Objekte in seiner visuellen Umgebung jederzeit aufgabenbasiert und effektiv zugreift, indem man sie über Indizes in der Umwelt verortet und dem jeweiligen Aufgabenkontext entsprechend intern benennt. Auch Blickbewegungen während des Sprachverstehens können so erklärt werden. Wenn das beginnende Verstehen eines gesprochenen Wortes zu der Benennung vorhandener Indizes passt, werden diese aktiviert, mit ihnen die assoziierten Positionen im Raum, und dadurch werden Blicke zu diesen Positionen ausgelöst. Als Erweiterung dieser bekannten Theorie findet die vorliegende Arbeit Hinweise darauf, dass ein visuelles Objekt nur dann mit dem Verstehen eines gesprochenen Wortes interagieren kann, wenn die Fixation des Objekts durch die Aktivierung eines zum gesprochenen Wort passenden Indizes ausgelöst wurde.

The main objective of this study is to investigate the relationship between home-literacy activities and other literacy-related practices, including oral activities, such as parent-child interaction and communication in leisure time, and the academic language skills of adolescent pupils with an immigrant background. The study involved 164 adolescent pupils with and 190 adolescent pupils without an immigrant background from schools in Hamburg, Germany. Information concerning students' language practices and home-literacy activities was collected via questionnaire. A validated language test was used to assess pupils' productive academic language skills in German. This article describes the migrant pupils' reported language use during literacy-related and oral activities. The results show that multilingual practices during various activities are usual in migrant pupils' lives, but that different languages assume different functions: the home language seems to be important for interaction with parents on family issues and migration-specific subjects, while German is used more in literacy activities (e.g. reading) and literacy-orientated issues (e.g. discussing social issues). However, the relationship between home-literacy practices and academic language skills requires further analysis. (DIPF/Orig.)

To monitor one's speech means to check the speech plan for errors, both before and after talking. There are several theories as to how this process works. We give a short overview on the most influential theories only to focus on the most widely received one, the Perceptual Loop Theory of monitoring by Levelt (1983). One of the underlying assumptions of this theory is the existence of an Inner Loop, a monitoring device that checks for errors before speech is articulated. This paper collects evidence for the existence of such an internal monitoring device and questions how it might work. Levelt's theory argues that internal monitoring works by means of perception, but there are other empirical findings that allow for the assumption that an Inner Loop could also use our speech production devices. Based on data from both experimental and aphasiological papers we develop a model based on Levelt (1983) which shows that internal monitoring might in fact make use of both perception and production means.

Journal for educational research online 2 (2010) 1, S. 5-31, PIRLS 2006 findings establish that reading literacy attainments of 4th graders in Arabic-speaking countries are poor. This low attainment is also reflected in the findings of PIRLS 2006 in Israel when comparing Arabic-speaking 4th graders' reading literacy mean score with that of their Hebrew-speaking peers (428 vs. 528). Findings of a previous study (Zuzovsky, 2008) supported an explanation that the existence of diglossia typical of the Arabic language (two linguistic codes - written and spoken) is the main cause of the low results of Arabic-speaking students in Israel and recommended educational interventions aimed to directly treat the problems of diglossia. Following these recommendations the present study aims to identify specific instructional activities that are significant in the effort to overcome the problems associated with Arabic diglossia. Of fourteen reading literacy activities positively associated with reading attainment, six exhibited significant interaction effects with the ethnic group variable indicating their relatively higher contribution to the achievement of students in Arabic-speaking schools. The most effective variables for Arabic-speaking students appear to be those indicating early home literacy activities that foster phonemic awareness and letter sound recognition. Among the school literacy activities, repeated listening to the sounds of written Arabic and being actively engaged in reading text and gradually in more challenging tasks, are promising school practices. (DIPF/Orig.), Bei PIRLS 2006 zeigen die Viertklässler in arabischsprachigen Ländern nur schwache Leseleistungen. Diese geringen Leistungswerte lassen sich auch in den israelischen PIRLS 2006-Resultaten nachweisen, wenn man dort den Leistungsmittelwert der arabischsprechenden Viertklässler mit dem ihrer hebräischsprechenden Mitschüler vergleicht (428 vs. 528 Skalenpunkte). Ergebnisse einer früheren Studie (…) unterstützen einen Erklärungsansatz, dem zufolge die für die arabische Sprache typische Diglossie (zwei unterschiedliche linguistische Codes für geschriebene und gesprochene Sprache) der Hauptgrund für die geringen Leistungswerte der arabischsprechenden Schüler in Israel ist. Diese Studie empfiehlt pädagogische Interventionen, die direkt auf die mit Diglossie verbundenen Probleme wirken sollen. Die vorliegende Studie folgt diesen Empfehlungen und zielt darauf ab, diejenigen spezifischen Unterrichtsaktivitäten zu identifizieren, die sich bei dem Bemühen, die mit arabischer Diglossie verbundenen Probleme zu überwinden, als signifikant herausstellen. Von 14 Leseaktivitäten, die mit positiven Auswirkungen auf die Leseleistung verbunden sind, zeigen 5 einen signifikanten Interaktionseffekt mit der Variable der ethnischen Gruppenzugehörigkeit, was auf ihren relativ gesehen höheren Beitrag zu der Leseleistung in arabischsprachigen Schulen hindeutet. Die Variablen mit dem großen leseförderlichen Effekt für arabischsprachige Schüler scheinen Aktivitäten früher Leseförderung in den Elternhäusern zu sein, die sich auf phonemische Bewusstheit und auf das Erkennen von Buchstaben und Lauten beziehen. Zu den schulischen Leseaktivitäten, die sich als vielversprechend erweisen, zählen das wiederholte Anhören von Lauten der geschriebenen arabischen Sprache und ein aktives Eingebundensein in das Lesen von Texten und zunehmend anspruchsvollere Leseaufgaben. (DIPF/Orig.)

Das Lexicon Graph Model stellt ein Modell für Lexika dar, die korpusbasiert sein können und multimodale Informationen enthalten. Hierbei wird die Perspektive der Lexikontheorie eingenommen, wobei die zugrundeliegenden Datenstrukturen sowohl vom Lexikon als auch von Annotationen betrachtet werden. Letztere fallen dadurch in das Blickfeld, weil sie als Grundlage für die Erstellung von Lexika gesehen werden. Der Begriff des Lexikons bezieht sich hier sowohl auf den Bereich des Wörterbuchs als auch der in elektronischen Applikationen integrierten Lexikondatenbanken. Die existierenden Formalismen und Ansätze der Lexikonentwicklung zeigen verschiedene Probleme im Zusammenhang mit Lexika auf, etwa die Zusammenfassung von existierenden Lexika zu einem, die Disambiguierung von Mehrdeutigkeiten im Lexikon auf verschiedenen lexikalischen Ebenen, die Repräsentation von anderen Modalitäten im Lexikon, die Selektion des lexikalischen Schlüsselbegriffs für Lexikonartikel, etc. Der vorliegende Ansatz geht davon aus, dass sich Lexika zwar in ihrem Inhalt, nicht aber in einer grundlegenden Struktur unterscheiden, so dass verschiedenartige Lexika im Rahmen eines Unifikationsprozesses dublettenfrei miteinander verbunden werden können. Hieraus resultieren deklarative Lexika. Für Lexika können diese Graphen mit dem Lexikongraph-Modell wie hier dargestellt modelliert werden. Dabei sind Lexikongraphen analog den von Bird und Libermann beschriebenen Annotationsgraphen gesehen und können daher auch ähnlich verarbeitet werden. Die Untersuchung des Lexikonformalismus beruht auf vier Schritten. Zunächst werden existierende Lexika analysiert und beschrieben. Danach wird mit dem Lexikongraph-Modell eine generische Darstellung von Lexika vorgestellt, die auch implementiert und getestet wird. Basierend auf diesem Formalismus wird die Beziehung zu Annotationsgraphen hergestellt, wobei auch beschrieben wird, welche Maßstäbe an angemessene Annotationen für die Verwendung zur Lexikonentwicklung angelegt werden müssen., The Lexicon Graph Model provides a model and framework for lexicons that can be corpus based and contain multimodal information. The focus is more from the lexicon theory perspective, looking at the underlying data structures that are part of existing lexicons and corpora. The term lexicon in linguistics and artificial intelligence is used in different ways, including traditional print dictionaries in book form, CD-ROM editions, Web based versions of the same, but also computerized resources of similar structures to be used by applications. These applications cover systems for human-machine communication as well as spell checkers. The term lexicon in this work is used as the most generic term covering all lexical applications. Existing formalisms in lexicon development show different problems with lexicons, for example combining different kinds of lexical resources, disambiguation on different lexical levels, the representation of different modalities in a lexicon. The Lexicon Graph Model presupposes that lexicons can have different structures but have fundamentally a similar structure, making it possible to combine lexicons in a unification process, resulting in a declarative lexicon. The underlying model is a graph, the Lexicon Graph, which is modeled similar to Annotation Graphs as described by Bird and Libermann. The investigation of the lexicon formalism contains four steps, that is the analysis of existing lexicons, the introduction of the Lexicon Graph Model as a generic representation for lexicons, the implementation of the formalism in different contexts and an evaluation of the formalism. It is shown that Annotation Graphs and Lexicon Graphs are indeed related not only in their formalism and it is shown, what standards have to be applied to annotations to be usable for lexicon development.

Die Ziele, die in der Dissertation behandelt werden, teilen sich in zwei Arbeitsbereiche: 1) formal beschreibende Fragestellungen, 2) funktionale Fragestellungen.Im ersten Teil der Arbeit werden die formal beschreibenden Fragestellungen behandelt. Es wird behauptet, dass prosodische Gestalten den gleichen Wahrnehmungsprinzipien unterliegen wie visuelle und musikalische Gestalten. Die von Max Wertheimer beschriebenen Hauptprinzipien sind folgende: 1) Prinzip der Ähnlichkeit bzw. der Gleichheit, 2) Prinzip der Nähe, 3) Prinzip der guten Kurve bzw. des gemeinsamen Schicksals. Diese Prinzipien leiten die Wahrnehmung komplexer prosodischer Gestaltmuster beim Zuhörer. Solche Gestaltmuster werden in der vorliegenden Arbeit compound , nested , und complex genannt und können größer, kleiner oder genauso groß wie die Intonationseinheit der traditionellen prosodischen Forschung sein.Um eine erhöhte Formgebung zu beschreiben, schlägt die vorliegende Arbeit zwei Arten von Gestaltmustern vor: 1) Highlighted Gestaltmuster und 2) Stilisierte Gestaltmuster. Highlighted und stilisierte Gestaltmuster unterliegen drei Prozessen, die diese Dissertation 1) Reduction 2) Adjustment und 3) Ornamentation nennt.Im zweiten Teil der Arbeit werden die behaupteten Phänomene funktional beschrieben. Prosodische Stilisierung wird als konversationelle Practice betrachtet, die eine wesentliche Rolle in bestimmten Diskursaktivitäten spielt. Die Arbeit untersucht zwei Aktivitäten: 1) Informing-Sequenzen, 2) Assessment-Sequenzen.Der zweite Teil der Arbeit zeigt somit, dass die im ersten Teil beschriebenen Gestaltphänomene eine wesentliche Rolle in alltäglicher Interaktion spielen.

In automatic speech recognition it is a widely observed phenomenon that variations in speech rate cause severe degradations of the speech recognition performance. This is due to the fact that standard stochastic based speech recognition systems specialise on average speech rate. Although many approaches to modelling speech rate variation have been made, an integrated approach in a substantial system still has be to developed. General approaches to rate modelling are based on rate dependent models which are trained with rate specific subsets of the training data. During decoding a signal based rate estimation is performed according to which the set of rate dependent models is selected. While such approaches are able to reduce the word error rate significantly, they suffer from shortcomings such as the reduction of training data and the expensive training and decoding procedure. However, phonetic investigations show that there is a systematic relationship between speech rate and the acoustic characteristics of speech. In fast speech a tendency of reduction can be observed which can be described in more detail as a centralisation effect and an increase in coarticulation. Centralisation means that the formant frequencies of vowels tend to shift towards the vowel space center while increased coarticulation denotes the tendency of the spectral features of a vowel to shift towards those of its phonemic neighbour. The goal of this work is to investigate the possibility to incorporate the knowledge of the systematic nature of the influence of speech rate variation on the acoustic features in speech rate modelling. In an acoustic-phonetic analysis of a large corpus of spontaneous speech it was shown that an increased degree of the two effects of centralisation and coarticulation can be found in fast speech. Several measures for these effects were developed and used in speech recognition experiments with rate dependent models. A thorough investigation of rate dependent models showed that with duration and coarticulation based measures significant increases of the performance could be achieved. It was shown that by the use of different measures the models were adapted either to centralisation or coarticulation. Further experiments showed that by a more detailed modelling with more rate classes a further improvement can be achieved. It was also observed that a general basis for the models is needed before rate adaptation can be performed. In a comparison to other sources of acoustic variation it was shown that the effects of speech rate are as severe as those of speaker variation and environmental noise. All these results show that for a more substantial system that models rate variations accurately it is necessary to focus on both, durational and spectral effects. The systematic nature of the effects indicates that a continuous modelling is possible.

The two papers included in this volume have developed from work with the CHILDES tools and the Media Editor in the two research projects, "Second language acquisition of German by Russian learners", sponsored by the Max Planck Institute for Psycholinguistics, Nijmegen, from 1998 to 1999 (directed by Ursula Stephany, University of Cologne, and Wolfgang Klein, Max Planck Institute for Psycholinguistics, Nijmegen) and "The age factor in the acquisition of German as a second language", sponsored by the German Science Foundation (DFG), Bonn, since 2000 (directed by Ursula Stephany, University of Cologne, and Christine Dimroth, Max Planck Institute for Psycholinguistics, Nijmegen). The CHILDES Project has been developed and is being continuously improved at Carnegie Mellon University, Pittsburgh, under the supervision of Brian MacWhinney. Having used the CHILDES tools for more than ten years for transcribing and analyzing Greek child data there it was no question that I would also use them for research into the acquisition of German as a second language and analyze the big amount of spontaneous speech gathered from two Russian girls with the help of the CLAN programs. When in the spring of 1997, Steven Gillis from the University of Antwerp (in collaboration with Gert Durieux) developed a lexicon-based automatic coding system based on the CLAN program MOR and suitable for coding languages with richer morphologies than English, such as Modern Greek. Coding huge amounts of data then became much quicker and more comfortable so that I decided to adopt this system for German as well. The paper "Working with the CHILDES Tools" is based on two earlier manuscripts which have grown out of my research on Greek child language and the many CHILDES workshops taught in Germany, Greece, Portugal, and Brazil over the years. Its contents have now been adapted to the requirements of research into the acquisition of German as a second language and for use on Windows.

The goal of this thesis is to simulate cooperation in human-computer communication to model the communicative interaction process of agents in natural dialogs in order to provide advanced human-computer interaction in that coherence is maintained between contributions of both agents, i.e. the human user and the computer. This thesis contributes to certain aspects of understanding and generation and their interaction in the German language. In spontaneous dialogs agents cooperate by the production of utterances. Accordingly, not only independent utterances are produced but an utterance which is produced by one agent can be continued by the other one based on the structural properties provided so far by the initial utterance. As this thesis concentrates on the underlying syntactic structures of these interactive processes which are carried out cooperatively by both agents of a dialog the aspects of human communication under consideration will be called "cooperative syntax production". In accordance with the interactive character of these processes a computational system for modeling the interaction between agents of a dialog must integrate both aspects of natural language: understandig and generation. Consequently, this system must coordinate the understanding and generation process in a cooperative way so that it is possible to switch flexibly between both processes back and force. To perform this interaction task an understanding and generation component has to be developed which meets the fundamental condition of cooperative syntax production or is at least able to demonstrate certain aspects of the underlying skills. As this thesis focuses on coordinate syntax production the understanding component will be restricted mostly to syntax. But for the reinterpretation process and for generating an adequate continuation of an initial utterance the model must have access to some semantic or pragmatic knowledge. This knowledge is given by visual context information which enables the system to derive and generate context sensitive interpretations of a given situation. Summarizing, this thesis presents a model for simulating cooperative syntax production. The model is based on an iterative processing strategy which is interactive in means of flexible changing from parsing to generation and vice versa. Besides, the integration of visual context information into the model establishes a robust and goal-directed processing strategy. Moreover, the presented model is robust to certain phenomena of spontaneous speech and to speech recognition errors.