Paper-based test versus computer-based test: does the kind influence the student s performance?

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior The steady advance of digital technology and its strong presence in school settings point to a new way of using technology in this environment. Traditionally, digital technology is used by teachers and students as a source of researches and, moreover, by the teacher as an alternative methodology that helps in the classroom. This dissertation aims about digital technology as a basic tool in conducting evaluations and performance, especially in the discipline of Mathematics. Thus, its research question is: there are differences in Mathematics performance when activities are performed on the computer? From this, the overall aim of this work is to compare the performance of students in the discipline of Mathematics, when conducting tests based on paper (PPT) and computer-based (CBT). To support the discussion, we will also address issues related to large-scale assessments, which indicate the performance of students, schools and systems. For this, we divide the dissertation into three articles, in order to address in more detail the different subjects that make up this work. The first paper investigated if previous studies have found differences in performance in Mathematics in digital and printed tests in materials published in journals Portal CAPES. The second article provides an overview of the different evaluations that occur in Brazil and focuses on the National Assessment System (SAEB). The text analyzes the mean performance in Mathematics, systems obtained in Rio Grande do Sul, in the editions 2005, 2007, 2009 and 2011 of SAEB, to try to understand possible trends and fluctuations in average. The third and final article presents the construction and application of a Mathematics test performance, confronted the results between the digital version and the printed version. In addition, also compared performance on the test paper with the results of the national assessment, since the instrument constructed was based on evaluations SAEB. The set of three articles showed us that although the research in this field are recent, it is possible to think about large-scale assessments performed on the computer. Both performances, PPT and CBT, were different: the strategies for resolution of the issues are modified according to the means of achievement. Furthermore, the use of technology can be a more effective way to school gets its results, so that modifications can be made within the same school year. Finally, using computer for this new purpose, it is possible explore different abilities of students, motivate the use of this tool in the school environment and streamline the process of national evaluation. O contínuo avanço das tecnologias digitais e a sua forte presença nos contextos escolares sinalizam para um novo modo de uso da tecnologia neste ambiente. Tradicionalmente, a tecnologia digital é utilizada por professores e alunos como uma fonte de buscas e pesquisas e, além disso, pelo docente como uma metodologia alternativa que o auxilia em sala de aula. Nesta dissertação de mestrado veremos a tecnologia digital como uma ferramenta base na realização de avaliações e testes de desempenho, em especial na disciplina de matemática. Dessa maneira, nossa questão de pesquisa é: há diferenças no desempenho em matemática quando as atividades são realizadas no computador? A partir disso, o objetivo geral da dissertação é comparar o desempenho de alunos, na disciplina de matemática, quando realizam testes baseado em papel (PPT) e baseado em computador (CBT). Para embasar a discussão, abordaremos também questões relacionadas às avaliações em larga escala, voltadas a diagnosticar o desempenho dos estudantes, escolas e sistemas. Para isso, dividimos a dissertação em três artigos, com o objetivo de abordar de maneira mais detalhada os diferentes assuntos que compõem este trabalho. O primeiro artigo investigou, junto a materiais publicados no Portal de periódicos da CAPES, se pesquisas já realizadas encontraram diferença de desempenho, em matemática, em testes digitais e impressos. O segundo artigo apresenta um panorama das diferentes avaliações que ocorrem no Brasil e foca no Sistema Nacional de Avaliação da Educação Básica (SAEB). O texto analisa as médias de desempenho em matemática, obtidas pelos sistemas do Rio Grande do Sul, nas edições 2005, 2007, 2009 e 2011 do SAEB, para tentar compreender possíveis oscilações e tendências nas médias. O terceiro e último artigo apresenta a construção e aplicação de um teste de desempenho de matemática, confrontado os resultados entre a versão digital e a versão impressa. Além deste viés, também comparamos os desempenhos do teste em papel com os resultados da avaliação nacional, uma vez que o instrumento construído se baseou nas avaliações do SAEB. O conjunto dos três artigos nos mostrou que, embora as pesquisas neste campo sejam recentes, é possível pensar em avaliações em larga escala realizadas no computador. Isto porque, além dos desempenhos em PPT e CBT serem diferentes, as estratégias de resolução das questões se modificam de acordo com o meio de realização. Além disso, o uso da tecnologia pode ser uma maneira mais eficaz de retornar às escolas seus resultados, de modo que modificações possam ser feitas dentro de um mesmo ano letivo. Por fim, trazendo o computador para esta nova finalidade, é possível explorar diferentes habilidades dos alunos, motivar o uso desta ferramenta no ambiente escolar e agilizar o processo de avaliação nacional.