Search

Learning theory is an active research area that incorporates ideas, problems, and techniques from a wide range of disciplines including statistics, artificial intelligence, information theory, pattern recognition, and theoretical computer science. The research reported at the 18th International Conference on Algorithmic Learning Theory (ALT 2007) ranges over areas such as unsupervised learning, inductive inference, complexity and learning, boosting and reinforcement learning, query learning models, grammatical inference, online learning and defensive forecasting, and kernel methods. In this introduction we give an overview of the five invited talks and the regular contributions of ALT 2007.

[EN] In this paper, a new method for modelling tRNA secondary structures is presented. This method is based on the combination of stochastic context-free grammars (SCFG) and Hidden Markov Models (HMM). HMM are used to capture the local relations in the loops of the molecule (nonstructured regions) and SCFG are used to capture the long term relations between nucleotides of the arms (structured regions). Given annotated public databases, the HMM and SCFG models are learned by means of automatic inductive learning methods. Two SCFG learning methods have been explored. Both of them take advantage of the structural information associated with the training sequences: one of them is based on a stochastic version of the Sakakibara algorithm and the other one is based on a Corpus based algorithm. A final model is then obtained by merging of the HMM of the nonstructured regions and the SCFG of the structured regions. Finally, the performed experiments on the tRNA sequence corpus and the non-tRNA sequence corpus give significant results. Comparative experiments with another published method are also presented.

In this paper, a new formalism that permits to represent a non-trivial class of context-sensitive languages, the Augmented Regular Expressions (AREs), is introduced. AREs augment the expressive power of Regular Expressions (REs) by including a set of constraints that involve the number of instances in a string of the operands of the star operations of an RE. An efficient algorithm is given to recognize language strings by AREs. Also a general learning method to infer AREs from examples is presented, that consists of a regular grammatical inference step, a DFA to RE transformation, an RE parsing of the examples, and a constraint induction process.

Work was done on an oscillating neural network "computer" that could recognize sequences of characters of a grammar. It was extended to employ selective control of synchronization to direct the flow of communication and computation within the architecture to solve a grammatical inference problem. Because intercommunicating modules of the architecture are analytically guaranteed to store and recall multiple oscillatory and chaotic attractors, the architecture served as a framework in which to arrange and exploit the special capabilities dynamic attractors. In this architecture, oscillation amplitude codes the information content or activity of a module (unit), whereas phase and frequency are used to "softwire" the network. Only synchronized modules communicate by exchanging amplitude information. Chaotic attractors from the large family of Chua attractors were synchronized for operation in the architecture using techniques of coupling developed for secure "broadspectrum" communication by a modulated chaotic carrier wave.

Many real-world problems require the handling of temporally correlated events. Recently, some discrete-time recurrent neural network models have been proposed to solve various temporal sequence processing problems. One of the most popular models is Elman's _simple recurrent network_ (SRN), which has been used for grammatical inference (or formal language learning) problems. In this paper, some major drawbacks of SRN and its variants are identified and investigated in detail. Based on these observations, a new model called ASCOC, which stands for _auto-associative SRN with context-to-output connections_, is proposed to overcome the problems encountered by SRN. Two experiments in using the ASCOC to learn regular grammars are reported, with detailed analysis of the hidden layer patterns learned by the network. Not only is it easier to train and use ASCOC than SRN, the new model is also more powerful in that it can remember more nonlocal information that is relevant to correct learning of grammars with embedded structures. Possible extension to domains beyond formal language learning is discussed.

This paper describes the Inside-Outside algorithm which re-estimates the rewrite rule probabilities of a stochastic context-free grammar. The particular example described in this memorandum is the application of the Inside-Outside algorithm to the spelling of English words. Great Britain.

The problem of inferring a grammar for a set of symbol strings is considered and a number of new decidability results obtained. Several notions of grammatical complexity and their properties are studied. The question of learning the least complex grammar for a set of strings is investigated leading to a variety of positive and negative results. This work is part of a continuing effort to study the problems of representation and generalization through the grammatical inference question., Report on Stanford Artificial Intelligence Project.

Grammatical inference is an inductive process of discovering an acceptable grammar for a language, on the basis of finite samples from the language. The study has the goals of devising useful inference procedures and of demonstrating a sound formal basis for such procedures. It states the general grammatical inference problem for formal languages, reviews previous work, establishes definitions and notation, and states a position on evaluation measures. It indicates a solution for a particular class of grammatical inference problems, based on an assumed probabilistic structure. (Author), Report on Stanford Artificial Intelligence Project.

An interactive program was written to permit experimentation in grammatical inference, using a heuristic search procedure guided by a cost function described in a previous report. Successful results were obtained with samples of parenthesis and addition strings, basic English, and chain-encoded shapes. (Author)

The problem of grammatical inference is defined. Research results on the inference of formal languages and stochastic languages are reviewed. The problem of application of stochastic languages is briefly discussed. (Author)

The problem of grammatical inference is considered and a number of positive answers to decidability questions obtained. Conditions are prescribed under which it is possible for a machine to infer a grammar (or the best grammar) for even the general rewriting systems. (Author), Report on Stanford Artificial Intelligence Project.

XML je v současné době oblíbeným formátem pro výměnu a uchovávání dat. Vnitřní struktura XML dokumentů je popisována schématem, které má důležitou úlohu při manipulaci s daty. V této práci se zabýváme návrhem metody, která umožní vytvořit k množině vstupních XML dokumentů odpovídající schéma. Prozkoumali jsme stávající publikované metody, které se pokusíme vylepšit o interakci s uživatelem, která se dosud neobjevila v žádném prozkoumaném algoritmu. Při odvozování schématu využíváme formálního základu metody odvozování gramatik., XML has become a popular format for data exchange and manipulation. The internal structure of XML documents is described by the schema that plays an important role in the data management. The main idea is to develop a method for the schema inference from the given set of XML documents. By observing published automatic methods, we discovered their disadvantages. Since there is no interactive implementation, we improve these methods with the user interaction. As a solid formal background, the principle of grammatical inference is extended in our approach.

Práce se věnuje gramatické inferenci z hlediska evolučních algoritmů pro skákající formální modely. Nejdříve vysvětluje skákající formální modely, které se dělí na skákající gramatiky a skákající automaty. Poté popisuje gramatickou inferenci, evoluční algoritmy a všechny jejich důležité části, jako je generování řetězců a zjišťování členství řetězce do jazyka definovaného automatem. Daný algoritmus se pak aplikuje na vybrané druhy skákajících konečných automatů. Těmi jsou skákající konečné automaty, zobecněné skákající konečné automaty a doprava jednosměrně skákající konečné automaty. Testovány byly čtyři typy skákajících automatů a celkem bylo provedeno šestnáct experimentů. Z výsledků vyplývá, že inference fungovala nejlépe pro automaty bez větvení, a pro ty obsahující malé množství stavů a malou vstupní abecedu., This thesis is focused on grammatical inference in the way of evolutionary algorithms for jumping finite models. The first part explains jumping finite models as itself. More specifically, it describes jumping grammars and jumping automata. The next part deals with grammatical inference, evolutionary algorithms, and their important parts. According to the developed jumping models, said parts include strings generation and membership testing. These two algorithms are applied to chosen types of jumping finite automata---jumping finite automata, general jumping finite automata, and right one-way jumping finite automata. These four types of automata were tested, and in total, sixteen experiments were run. Results show that the inference works much better for automata without branching and with a small number of states and a small alphabet.

Práce se věnuje gramatické inferenci z hlediska evolučních algoritmů pro skákající formální modely. Nejdříve vysvětluje skákající formální modely, které se dělí na skákající gramatiky a skákající automaty. Poté popisuje gramatickou inferenci, evoluční algoritmy a všechny jejich důležité části, jako je generování řetězců a zjišťování členství řetězce do jazyka definovaného automatem. Daný algoritmus se pak aplikuje na vybrané druhy skákajících konečných automatů. Těmi jsou skákající konečné automaty, zobecněné skákající konečné automaty a doprava jednosměrně skákající konečné automaty. Testovány byly čtyři typy skákajících automatů a celkem bylo provedeno šestnáct experimentů. Z výsledků vyplývá, že inference fungovala nejlépe pro automaty bez větvení, a pro ty obsahující malé množství stavů a malou vstupní abecedu., This thesis is focused on grammatical inference in the way of evolutionary algorithms for jumping finite models. The first part explains jumping finite models as itself. More specifically, it describes jumping grammars and jumping automata. The next part deals with grammatical inference, evolutionary algorithms, and their important parts. According to the developed jumping models, said parts include strings generation and membership testing. These two algorithms are applied to chosen types of jumping finite automata---jumping finite automata, general jumping finite automata, and right one-way jumping finite automata. These four types of automata were tested, and in total, sixteen experiments were run. Results show that the inference works much better for automata without branching and with a small number of states and a small alphabet.

XML je v současné době oblíbeným formátem pro výměnu a uchovávání dat. Vnitřní struktura XML dokumentů je popisována schématem, které má důležitou úlohu při manipulaci s daty. V této práci se zabýváme návrhem metody, která umožní vytvořit k množině vstupních XML dokumentů odpovídající schéma. Prozkoumali jsme stávající publikované metody, které se pokusíme vylepšit o interakci s uživatelem, která se dosud neobjevila v žádném prozkoumaném algoritmu. Při odvozování schématu využíváme formálního základu metody odvozování gramatik., XML has become a popular format for data exchange and manipulation. The internal structure of XML documents is described by the schema that plays an important role in the data management. The main idea is to develop a method for the schema inference from the given set of XML documents. By observing published automatic methods, we discovered their disadvantages. Since there is no interactive implementation, we improve these methods with the user interaction. As a solid formal background, the principle of grammatical inference is extended in our approach.

International audience, This paper is concerned with learning in the model of Gold the Categorial Dependency Grammars (CDG), which express discontin- uous (non-projective) dependencies. We show that rigid and k-valued CDG (without optional and iterative types) are learnable from strings. In fact, we prove that the languages of dependency nets coding rigid CDGs have finite elasticity, and we show a learning algorithm. As a standard corollary, this result leads to the learnability of rigid or k- valued CDGs (without optional and iterative types) from strings.

XML je v současné době oblíbeným formátem pro výměnu a uchovávání dat. Vnitřní struktura XML dokumentů je popisována schématem, které má důležitou úlohu při manipulaci s daty. V této práci se zabýváme návrhem metody, která umožní vytvořit k množině vstupních XML dokumentů odpovídající schéma. Prozkoumali jsme stávající publikované metody, které se pokusíme vylepšit o interakci s uživatelem, která se dosud neobjevila v žádném prozkoumaném algoritmu. Při odvozování schématu využíváme formálního základu metody odvozování gramatik., XML has become a popular format for data exchange and manipulation. The internal structure of XML documents is described by the schema that plays an important role in the data management. The main idea is to develop a method for the schema inference from the given set of XML documents. By observing published automatic methods, we discovered their disadvantages. Since there is no interactive implementation, we improve these methods with the user interaction. As a solid formal background, the principle of grammatical inference is extended in our approach.

XML je v současné době oblíbeným formátem pro výměnu a uchovávání dat. Vnitřní struktura XML dokumentů je popisována schématem, které má důležitou úlohu při manipulaci s daty. V této práci se zabýváme návrhem metody, která umožní vytvořit k množině vstupních XML dokumentů odpovídající schéma. Prozkoumali jsme stávající publikované metody, které se pokusíme vylepšit o interakci s uživatelem, která se dosud neobjevila v žádném prozkoumaném algoritmu. Při odvozování schématu využíváme formálního základu metody odvozování gramatik., XML has become a popular format for data exchange and manipulation. The internal structure of XML documents is described by the schema that plays an important role in the data management. The main idea is to develop a method for the schema inference from the given set of XML documents. By observing published automatic methods, we discovered their disadvantages. Since there is no interactive implementation, we improve these methods with the user interaction. As a solid formal background, the principle of grammatical inference is extended in our approach.

Práce se věnuje gramatické inferenci z hlediska evolučních algoritmů pro skákající formální modely. Nejdříve vysvětluje skákající formální modely, které se dělí na skákající gramatiky a skákající automaty. Poté popisuje gramatickou inferenci, evoluční algoritmy a všechny jejich důležité části, jako je generování řetězců a zjišťování členství řetězce do jazyka definovaného automatem. Daný algoritmus se pak aplikuje na vybrané druhy skákajících konečných automatů. Těmi jsou skákající konečné automaty, zobecněné skákající konečné automaty a doprava jednosměrně skákající konečné automaty. Testovány byly čtyři typy skákajících automatů a celkem bylo provedeno šestnáct experimentů. Z výsledků vyplývá, že inference fungovala nejlépe pro automaty bez větvení, a pro ty obsahující malé množství stavů a malou vstupní abecedu., This thesis is focused on grammatical inference in the way of evolutionary algorithms for jumping finite models. The first part explains jumping finite models as itself. More specifically, it describes jumping grammars and jumping automata. The next part deals with grammatical inference, evolutionary algorithms, and their important parts. According to the developed jumping models, said parts include strings generation and membership testing. These two algorithms are applied to chosen types of jumping finite automata---jumping finite automata, general jumping finite automata, and right one-way jumping finite automata. These four types of automata were tested, and in total, sixteen experiments were run. Results show that the inference works much better for automata without branching and with a small number of states and a small alphabet.

Práce se věnuje gramatické inferenci z hlediska evolučních algoritmů pro skákající formální modely. Nejdříve vysvětluje skákající formální modely, které se dělí na skákající gramatiky a skákající automaty. Poté popisuje gramatickou inferenci, evoluční algoritmy a všechny jejich důležité části, jako je generování řetězců a zjišťování členství řetězce do jazyka definovaného automatem. Daný algoritmus se pak aplikuje na vybrané druhy skákajících konečných automatů. Těmi jsou skákající konečné automaty, zobecněné skákající konečné automaty a doprava jednosměrně skákající konečné automaty. Testovány byly čtyři typy skákajících automatů a celkem bylo provedeno šestnáct experimentů. Z výsledků vyplývá, že inference fungovala nejlépe pro automaty bez větvení, a pro ty obsahující malé množství stavů a malou vstupní abecedu., This thesis is focused on grammatical inference in the way of evolutionary algorithms for jumping finite models. The first part explains jumping finite models as itself. More specifically, it describes jumping grammars and jumping automata. The next part deals with grammatical inference, evolutionary algorithms, and their important parts. According to the developed jumping models, said parts include strings generation and membership testing. These two algorithms are applied to chosen types of jumping finite automata---jumping finite automata, general jumping finite automata, and right one-way jumping finite automata. These four types of automata were tested, and in total, sixteen experiments were run. Results show that the inference works much better for automata without branching and with a small number of states and a small alphabet.

Práce se věnuje gramatické inferenci z hlediska evolučních algoritmů pro skákající formální modely. Nejdříve vysvětluje skákající formální modely, které se dělí na skákající gramatiky a skákající automaty. Poté popisuje gramatickou inferenci, evoluční algoritmy a všechny jejich důležité části, jako je generování řetězců a zjišťování členství řetězce do jazyka definovaného automatem. Daný algoritmus se pak aplikuje na vybrané druhy skákajících konečných automatů. Těmi jsou skákající konečné automaty, zobecněné skákající konečné automaty a doprava jednosměrně skákající konečné automaty. Testovány byly čtyři typy skákajících automatů a celkem bylo provedeno šestnáct experimentů. Z výsledků vyplývá, že inference fungovala nejlépe pro automaty bez větvení, a pro ty obsahující malé množství stavů a malou vstupní abecedu., This thesis is focused on grammatical inference in the way of evolutionary algorithms for jumping finite models. The first part explains jumping finite models as itself. More specifically, it describes jumping grammars and jumping automata. The next part deals with grammatical inference, evolutionary algorithms, and their important parts. According to the developed jumping models, said parts include strings generation and membership testing. These two algorithms are applied to chosen types of jumping finite automata---jumping finite automata, general jumping finite automata, and right one-way jumping finite automata. These four types of automata were tested, and in total, sixteen experiments were run. Results show that the inference works much better for automata without branching and with a small number of states and a small alphabet.

XML je v současné době oblíbeným formátem pro výměnu a uchovávání dat. Vnitřní struktura XML dokumentů je popisována schématem, které má důležitou úlohu při manipulaci s daty. V této práci se zabýváme návrhem metody, která umožní vytvořit k množině vstupních XML dokumentů odpovídající schéma. Prozkoumali jsme stávající publikované metody, které se pokusíme vylepšit o interakci s uživatelem, která se dosud neobjevila v žádném prozkoumaném algoritmu. Při odvozování schématu využíváme formálního základu metody odvozování gramatik., XML has become a popular format for data exchange and manipulation. The internal structure of XML documents is described by the schema that plays an important role in the data management. The main idea is to develop a method for the schema inference from the given set of XML documents. By observing published automatic methods, we discovered their disadvantages. Since there is no interactive implementation, we improve these methods with the user interaction. As a solid formal background, the principle of grammatical inference is extended in our approach.

XML je v současné době oblíbeným formátem pro výměnu a uchovávání dat. Vnitřní struktura XML dokumentů je popisována schématem, které má důležitou úlohu při manipulaci s daty. V této práci se zabýváme návrhem metody, která umožní vytvořit k množině vstupních XML dokumentů odpovídající schéma. Prozkoumali jsme stávající publikované metody, které se pokusíme vylepšit o interakci s uživatelem, která se dosud neobjevila v žádném prozkoumaném algoritmu. Při odvozování schématu využíváme formálního základu metody odvozování gramatik., XML has become a popular format for data exchange and manipulation. The internal structure of XML documents is described by the schema that plays an important role in the data management. The main idea is to develop a method for the schema inference from the given set of XML documents. By observing published automatic methods, we discovered their disadvantages. Since there is no interactive implementation, we improve these methods with the user interaction. As a solid formal background, the principle of grammatical inference is extended in our approach.