Search

The use of web accessibility evaluation tools is a widespread practice. Evaluation tools are heavily employed as they help in reducing the burden of identifying accessibility barriers. However, an over-reliance on automated tests often leads to setting aside further testing that entails expert evaluation and user tests. In this paper we empirically show the capabilities of current automated evaluation tools. To do so, we investigate the effectiveness of 6 state-of-the-art tools by analysing their coverage, completeness and correctness with regard to WCAG 2.0 conformance. We corroborate that relying on automated tests alone has negative effects and can have undesirable consequences. Coverage is very narrow as, at most, 50% of the success criteria are covered. Similarly, completeness ranges between 14% and 38%; however, some of the tools that exhibit higher completeness scores produce lower correctness scores (66-71%) due to the fact that catching as many violations as possible can lead to an increase in false positives. Therefore, relying on just automated tests entails that 1 of 2 success criteria will not even be analysed and among those analysed, only 4 out of 10 will be caught at the further risk of generating false positives. Copyright 2013 ACM.

This effort focuses on the development, analysis, and evaluation of measurement tools for submarine navigation teams, including support of Future Naval Capabilities efforts, and in particular, the 10-02, Adaptive Training for Submarine Navigation and Piloting (AT-SNAP) program. The primary challenge was to explore methods to automatically assess team processes in ways that are not fully dependent on instructors or observers, as is presently the case. This effort aimed to identify techniques that can automatically assess various aspects of the performance of submarine navigation teams. The Aptima team, while supporting Dr. David Kern (AT-SNAP program manager) and Sandia National Laboratories, studied the use of Sociometric Badges (produced by Sociometric Solutions, Inc.) to supplement data collection efforts. The Sociometric Badges are unobtrusive pieces of hardware that employ multiple sensors to collect various types of data as teams of people interact in complex mission environments. The badges were used to collect data as submarine crews performed exercises in Submarine Piloting and Navigation trainers during a two-day study at the Naval Submarine School in Groton, Connecticut. Although this effort is exploratory, preliminary results suggest a number of findings that speak to the benefit of Sociometric Badge technology when applied to the undersea warfare domain., The original document contains color images.

Automated evaluation of generalization output relies to a large extent on that requirements (e.g. specifications, constraints) being formalized in machine-readable formats. Previous studies suggest that the formalization and automated evaluation are relatively easier for legibility constraints (improve the readability of maps) than for preservation constraints (preserving important real-world phenomena). Three major difficulties, i.e., pattern classification and characterization, pattern matching, and constraint formalization, in the automated evaluation of building pattern preservation constraint are analyzed in this paper. A classification of available building patterns is reviewed based on a previous work. In addition, the transition events describing allowed changes for building patterns to preserve during generalization are obtained through the study of existing maps series (from 1:10k to 1:100k). Based on the obtained knowledge on pattern types and acceptable transition events, an approach to automatically match corresponding building patterns at different scales is presented. The methodology proposed is validated by applying it to the interactively generalized data. The result shows promising results and also further improvement in order to apply the method in an overall evaluation to indicate acceptable generalization solutions., OTB Research, OTB Research Institute for the Built Environment

This study proffers two important findings: (1) automated machine translation (MT) evaluation is insensitive to the cognitive gravitas of proper names, contributing to its weak modeling of human judgments of higher quality MT output, and (2) there is a "new" methodology that produces superior measurement of translation acceptability. Twenty Arabic sentences, each with average name density of 3.7 names in 22 words, were translated into English with a research-grade MT system, to produce a 20-output-sentence Control Stimulus Set. Manual correction of 25% of the name translations resulted in an Enhanced Stimulus Set. A Magnitude Estimation (ME) methodology task had each of two teams of five subjects judge Control and Enhanced Sets against human reference translations. As is customary in ME studies, subjects made direct numerical estimations of the magnitude of the stimuli, in this case the degree to which sentences in the Sets conveyed the meaning in the reference sentences. Average estimates for Control and Enhanced Sets were 4.57 and 6.16, respectively, a 34.8% difference. Automated evaluation with the Metric for Evaluation of Translation with Explicit word ORdering (METEOR) produced scores of .446 and .546, a 22% difference. ME detected a differential effect, a finding which suggests that weighting proper name rendering in automated evaluation systems may improve correlations with human judgments on higher quality output.

Within the field of incident management split second decisions have to be made, usually on the basis of incomplete and partially incorrect information. As a result of these conditions, errors occur in such decision processes. In order to avoid repetition of such errors, historic cases, disaster plans, and training logs need to be thoroughly analysed. This paper presents a formal approach for such an analysis that pays special attention to spatial and temporal aspects, to information exchange, and to organisational structure. The formal nature of the approach enables automation of analysis, which is illustrated by case studies of two disasters. © 2007 Elsevier Ltd. All rights reserved Keywords: Incident management; Formal analysis; Automated evaluation, 1. Introduction 2. Case studies 2.1. The Hercules disaster 2.2. The Dakota disaster 3. Modelling approach 4. Formalisation of an empirical trace 5. Validation of a trace 5.1. Validation methodology 5.2. Validation of the Hercules disaster trace 5.2.1. Spatial properties 5.2.1.1. P1: Fire truck moves to scene 5.2.2. Temporal properties 5.2.2.1. P2: Timely information delivery 5.2.2.2. P3: MAC timely arrival at the disaster area 5.2.2.3. P4: Sufficient number of ambulances, called immediately 5.2.3. Information exchange properties 5.2.3.1. P5: Information correctness 5.2.3.2. P6: Choice of protocols 5.2.4. Organisation structure properties 5.2.4.1. P7: Presence officer on duty 5.2.4.2. P8: Presence police units 5.3. Validation of the Dakota disaster trace 5.3.1. Spatial properties 5.3.1.1. P9: Correct coordinate information 5.3.2. Temporal properties 5.3.2.1. P10: Reject information request because of overload 5.3.3. Information exchange properties 5.3.3.1. P11: Inform rescue boats 5.3.4. Organisation structure properties 5.3.4.1. P12: SAR team creation 6. Discussion Acknowledgements References

Bakalářská práce se zabývá vývojem aplikace, která bude automatizovaně vyhodnocovat přijaté zprávy. V případě výskytu incidentu informuje administrátora o aktuálním stavu. Při svém periodickém spouštění bude zasílat informace o průběhu vyhodnocování zpráv. V rámci vyhodnocování zpráv také zkontroluje dochvilnost zpráv a příjem všech očekávaných zpráv. Pro správu programu byla vyvinuta grafická nadstavba. Aplikace byla vyvinuta v jazyce Python s možností převodu na exe soubor. Aplikace usnadňuje rutinní sledování stavu IT infrastruktury., The bachelor’s thesis describes the development of an application that will automatically evaluate received messages. When an incident occurs, it informs the administrator about the current status. Application will send information about the progress of message evaluation when it runs periodically. As part of the message evaluation, it also checks the timeliness of the messages and the reception of all expected messages. A graphical dashboard was developed to manage the application. The application was developed in Python. The application facilitates the routine monitoring of the state of the IT infrastructure.

Bakalářská práce se zabývá vývojem aplikace, která bude automatizovaně vyhodnocovat přijaté zprávy. V případě výskytu incidentu informuje administrátora o aktuálním stavu. Při svém periodickém spouštění bude zasílat informace o průběhu vyhodnocování zpráv. V rámci vyhodnocování zpráv také zkontroluje dochvilnost zpráv a příjem všech očekávaných zpráv. Pro správu programu byla vyvinuta grafická nadstavba. Aplikace byla vyvinuta v jazyce Python s možností převodu na exe soubor. Aplikace usnadňuje rutinní sledování stavu IT infrastruktury., The bachelor’s thesis describes the development of an application that will automatically evaluate received messages. When an incident occurs, it informs the administrator about the current status. Application will send information about the progress of message evaluation when it runs periodically. As part of the message evaluation, it also checks the timeliness of the messages and the reception of all expected messages. A graphical dashboard was developed to manage the application. The application was developed in Python. The application facilitates the routine monitoring of the state of the IT infrastructure.

Tato bakalářská práce se zabývá problematikou vyučování jazyka Python pomocí systému, který studentům poskytne zpětnou vazbu k jejich řešení. Cílem práce bylo vytvořit systém schopný vyhodnocovat studentská řešení a poskytovat zmíněnou zpětnou vazbu. Důraz práce je kladen na zpětnou vazbu, která je studentům poskytována, a také na možnosti spojené s omezením zdrojů použitých při řešení. Vytvořený systém poskytuje zpětnou vazbu na základě analýzy abstraktních syntaktických stromů sestavených z odevzdaného řešení, umožňuje připojit doporučení z programů třetích stran, a také umožňuje nastavit omezení zdrojů, knihoven a funkcí, které mohou být při řešení použity. Systém byl použit v letním semestru při výuce předmětu ISJ a 60 % studentů vylepšilo svoje řešení na základě doporučení ze systému. Tyto skutečnosti dokazují, že systém je možné využít při výuce jazyka Python v praxi., This bachelor thesis focuses on the topic of teaching Python programming language assisted by automated system that can provide feedback to submitted solutions. The goal of this thesis was creation of automated system that could evaluate student solutions and provide feedback. The main emphasis was on provided feedback and options for limiting resources that can be used. Created system provides feedback based on the analysis of abstract syntax trees assembled from submitted solutions, allows an administrator to attach tips from third party programs and set restrictions on resources, libraries and functions, that can be used. System was used during summer semester in ISJ course and 60 % of students improved their solution based on feedback given by system. This suggests that created system can be used during Python tuition.

Tato bakalářská práce se zabývá problematikou vyučování jazyka Python pomocí systému, který studentům poskytne zpětnou vazbu k jejich řešení. Cílem práce bylo vytvořit systém schopný vyhodnocovat studentská řešení a poskytovat zmíněnou zpětnou vazbu. Důraz práce je kladen na zpětnou vazbu, která je studentům poskytována, a také na možnosti spojené s omezením zdrojů použitých při řešení. Vytvořený systém poskytuje zpětnou vazbu na základě analýzy abstraktních syntaktických stromů sestavených z odevzdaného řešení, umožňuje připojit doporučení z programů třetích stran, a také umožňuje nastavit omezení zdrojů, knihoven a funkcí, které mohou být při řešení použity. Systém byl použit v letním semestru při výuce předmětu ISJ a 60 % studentů vylepšilo svoje řešení na základě doporučení ze systému. Tyto skutečnosti dokazují, že systém je možné využít při výuce jazyka Python v praxi., This bachelor thesis focuses on the topic of teaching Python programming language assisted by automated system that can provide feedback to submitted solutions. The goal of this thesis was creation of automated system that could evaluate student solutions and provide feedback. The main emphasis was on provided feedback and options for limiting resources that can be used. Created system provides feedback based on the analysis of abstract syntax trees assembled from submitted solutions, allows an administrator to attach tips from third party programs and set restrictions on resources, libraries and functions, that can be used. System was used during summer semester in ISJ course and 60 % of students improved their solution based on feedback given by system. This suggests that created system can be used during Python tuition.

Tato bakalářská práce se zabývá problematikou vyučování jazyka Python pomocí systému, který studentům poskytne zpětnou vazbu k jejich řešení. Cílem práce bylo vytvořit systém schopný vyhodnocovat studentská řešení a poskytovat zmíněnou zpětnou vazbu. Důraz práce je kladen na zpětnou vazbu, která je studentům poskytována, a také na možnosti spojené s omezením zdrojů použitých při řešení. Vytvořený systém poskytuje zpětnou vazbu na základě analýzy abstraktních syntaktických stromů sestavených z odevzdaného řešení, umožňuje připojit doporučení z programů třetích stran, a také umožňuje nastavit omezení zdrojů, knihoven a funkcí, které mohou být při řešení použity. Systém byl použit v letním semestru při výuce předmětu ISJ a 60 % studentů vylepšilo svoje řešení na základě doporučení ze systému. Tyto skutečnosti dokazují, že systém je možné využít při výuce jazyka Python v praxi., This bachelor thesis focuses on the topic of teaching Python programming language assisted by automated system that can provide feedback to submitted solutions. The goal of this thesis was creation of automated system that could evaluate student solutions and provide feedback. The main emphasis was on provided feedback and options for limiting resources that can be used. Created system provides feedback based on the analysis of abstract syntax trees assembled from submitted solutions, allows an administrator to attach tips from third party programs and set restrictions on resources, libraries and functions, that can be used. System was used during summer semester in ISJ course and 60 % of students improved their solution based on feedback given by system. This suggests that created system can be used during Python tuition.

Tato bakalářská práce se zabývá problematikou vyučování jazyka Python pomocí systému, který studentům poskytne zpětnou vazbu k jejich řešení. Cílem práce bylo vytvořit systém schopný vyhodnocovat studentská řešení a poskytovat zmíněnou zpětnou vazbu. Důraz práce je kladen na zpětnou vazbu, která je studentům poskytována, a také na možnosti spojené s omezením zdrojů použitých při řešení. Vytvořený systém poskytuje zpětnou vazbu na základě analýzy abstraktních syntaktických stromů sestavených z odevzdaného řešení, umožňuje připojit doporučení z programů třetích stran, a také umožňuje nastavit omezení zdrojů, knihoven a funkcí, které mohou být při řešení použity. Systém byl použit v letním semestru při výuce předmětu ISJ a 60 % studentů vylepšilo svoje řešení na základě doporučení ze systému. Tyto skutečnosti dokazují, že systém je možné využít při výuce jazyka Python v praxi., This bachelor thesis focuses on the topic of teaching Python programming language assisted by automated system that can provide feedback to submitted solutions. The goal of this thesis was creation of automated system that could evaluate student solutions and provide feedback. The main emphasis was on provided feedback and options for limiting resources that can be used. Created system provides feedback based on the analysis of abstract syntax trees assembled from submitted solutions, allows an administrator to attach tips from third party programs and set restrictions on resources, libraries and functions, that can be used. System was used during summer semester in ISJ course and 60 % of students improved their solution based on feedback given by system. This suggests that created system can be used during Python tuition.

Bakalářská práce se zabývá vývojem aplikace, která bude automatizovaně vyhodnocovat přijaté zprávy. V případě výskytu incidentu informuje administrátora o aktuálním stavu. Při svém periodickém spouštění bude zasílat informace o průběhu vyhodnocování zpráv. V rámci vyhodnocování zpráv také zkontroluje dochvilnost zpráv a příjem všech očekávaných zpráv. Pro správu programu byla vyvinuta grafická nadstavba. Aplikace byla vyvinuta v jazyce Python s možností převodu na exe soubor. Aplikace usnadňuje rutinní sledování stavu IT infrastruktury., The bachelor’s thesis describes the development of an application that will automatically evaluate received messages. When an incident occurs, it informs the administrator about the current status. Application will send information about the progress of message evaluation when it runs periodically. As part of the message evaluation, it also checks the timeliness of the messages and the reception of all expected messages. A graphical dashboard was developed to manage the application. The application was developed in Python. The application facilitates the routine monitoring of the state of the IT infrastructure.

Bakalářská práce se zabývá vývojem aplikace, která bude automatizovaně vyhodnocovat přijaté zprávy. V případě výskytu incidentu informuje administrátora o aktuálním stavu. Při svém periodickém spouštění bude zasílat informace o průběhu vyhodnocování zpráv. V rámci vyhodnocování zpráv také zkontroluje dochvilnost zpráv a příjem všech očekávaných zpráv. Pro správu programu byla vyvinuta grafická nadstavba. Aplikace byla vyvinuta v jazyce Python s možností převodu na exe soubor. Aplikace usnadňuje rutinní sledování stavu IT infrastruktury., The bachelor’s thesis describes the development of an application that will automatically evaluate received messages. When an incident occurs, it informs the administrator about the current status. Application will send information about the progress of message evaluation when it runs periodically. As part of the message evaluation, it also checks the timeliness of the messages and the reception of all expected messages. A graphical dashboard was developed to manage the application. The application was developed in Python. The application facilitates the routine monitoring of the state of the IT infrastructure.

Tato bakalářská práce se zabývá problematikou vyučování jazyka Python pomocí systému, který studentům poskytne zpětnou vazbu k jejich řešení. Cílem práce bylo vytvořit systém schopný vyhodnocovat studentská řešení a poskytovat zmíněnou zpětnou vazbu. Důraz práce je kladen na zpětnou vazbu, která je studentům poskytována, a také na možnosti spojené s omezením zdrojů použitých při řešení. Vytvořený systém poskytuje zpětnou vazbu na základě analýzy abstraktních syntaktických stromů sestavených z odevzdaného řešení, umožňuje připojit doporučení z programů třetích stran, a také umožňuje nastavit omezení zdrojů, knihoven a funkcí, které mohou být při řešení použity. Systém byl použit v letním semestru při výuce předmětu ISJ a 60 % studentů vylepšilo svoje řešení na základě doporučení ze systému. Tyto skutečnosti dokazují, že systém je možné využít při výuce jazyka Python v praxi., This bachelor thesis focuses on the topic of teaching Python programming language assisted by automated system that can provide feedback to submitted solutions. The goal of this thesis was creation of automated system that could evaluate student solutions and provide feedback. The main emphasis was on provided feedback and options for limiting resources that can be used. Created system provides feedback based on the analysis of abstract syntax trees assembled from submitted solutions, allows an administrator to attach tips from third party programs and set restrictions on resources, libraries and functions, that can be used. System was used during summer semester in ISJ course and 60 % of students improved their solution based on feedback given by system. This suggests that created system can be used during Python tuition.

Tato bakalářská práce se zabývá problematikou vyučování jazyka Python pomocí systému, který studentům poskytne zpětnou vazbu k jejich řešení. Cílem práce bylo vytvořit systém schopný vyhodnocovat studentská řešení a poskytovat zmíněnou zpětnou vazbu. Důraz práce je kladen na zpětnou vazbu, která je studentům poskytována, a také na možnosti spojené s omezením zdrojů použitých při řešení. Vytvořený systém poskytuje zpětnou vazbu na základě analýzy abstraktních syntaktických stromů sestavených z odevzdaného řešení, umožňuje připojit doporučení z programů třetích stran, a také umožňuje nastavit omezení zdrojů, knihoven a funkcí, které mohou být při řešení použity. Systém byl použit v letním semestru při výuce předmětu ISJ a 60 % studentů vylepšilo svoje řešení na základě doporučení ze systému. Tyto skutečnosti dokazují, že systém je možné využít při výuce jazyka Python v praxi., This bachelor thesis focuses on the topic of teaching Python programming language assisted by automated system that can provide feedback to submitted solutions. The goal of this thesis was creation of automated system that could evaluate student solutions and provide feedback. The main emphasis was on provided feedback and options for limiting resources that can be used. Created system provides feedback based on the analysis of abstract syntax trees assembled from submitted solutions, allows an administrator to attach tips from third party programs and set restrictions on resources, libraries and functions, that can be used. System was used during summer semester in ISJ course and 60 % of students improved their solution based on feedback given by system. This suggests that created system can be used during Python tuition.

Bakalářská práce se zabývá vývojem aplikace, která bude automatizovaně vyhodnocovat přijaté zprávy. V případě výskytu incidentu informuje administrátora o aktuálním stavu. Při svém periodickém spouštění bude zasílat informace o průběhu vyhodnocování zpráv. V rámci vyhodnocování zpráv také zkontroluje dochvilnost zpráv a příjem všech očekávaných zpráv. Pro správu programu byla vyvinuta grafická nadstavba. Aplikace byla vyvinuta v jazyce Python s možností převodu na exe soubor. Aplikace usnadňuje rutinní sledování stavu IT infrastruktury., The bachelor’s thesis describes the development of an application that will automatically evaluate received messages. When an incident occurs, it informs the administrator about the current status. Application will send information about the progress of message evaluation when it runs periodically. As part of the message evaluation, it also checks the timeliness of the messages and the reception of all expected messages. A graphical dashboard was developed to manage the application. The application was developed in Python. The application facilitates the routine monitoring of the state of the IT infrastructure.