O pré-teste ao EPPLE (Exame de Proficiência para Professores de Línguas Estrangeiras): desafios tecnológicos, validade e histórico de implementação

Abstract

O Exame de Proficiência para Professores de Línguas Estrangeiras (EPPLE) tem sido foco de muitas pesquisas no Brasil. Recentemente, desenvolveu-se o pré-teste ao teste oral do EPPLE com o intuito de fornecer aos candidatos uma informação preliminar sobre sua proficiência, que pudesse prever os resultados do exame. O objetivo deste trabalho é debater a possibilidade de se oferecer um pré-teste ao EPPLE oral, com validade de critério em relação a ele, e que seja disponível em dispositivos tecnológicos móveis. Assim, o pré-teste foi aprimorado em relação a uma versão anterior, e aplicado a dois grupos de professores de língua inglesa (em formação), um através de computadores e outro através de dispositivos tecnológicos móveis. Parte dos participantes realizou também o EPPLE. Nossos dados provêm dos resultados dessas aplicações, de observações de campo nesses momentos, e de um questionário aplicado aos participantes logo após, em que respondem a perguntas sobre suas impressões gerais do pré-teste e também de seu meio de aplicação (computadores ou celulares). Em nossa análise, avaliamos os resultados do pré-teste em comparação aos do EPPLE buscando evidências de validade preditiva e paralela. Além disso, investigamos os potenciais desafios e vantagens em se utilizar as tecnologias propostas para a aplicação do teste. Os dados apontaram para um paralelismo, embora não totalmente direto, entre os resultados do EPPLE oral e do pré-teste, o que sugere que o pré-teste possa ser usado como instrumento de previsão. Além disso, não houve diferença significativa nos resultados das aplicações através de celulares e de computadores, embora haja comentários dos participantes específicos a cada tecnologia, descrevendo vantagens e desvantagens. Os resultados, portanto, apontam para que seja possível produzir um préteste válido e disponível em celulares, apesar das limitações encontradas. Nossa análise nos levou também a possíveis caminhos para aprimorar ainda mais o pré-teste, a partir da versão desenvolvida neste trabalho, para que possa ser um instrumento cada vez mais confiável de previsão dos resultados do EPPLE oral.

The Proficiency Exam for Foreign Language Teachers (EPPLE) has been the subject of much research in Brazil. Recently, a pretest to the oral test of EPPLE was developed in order to provide preliminary information on the candidates’proficiency that could predict the results of the exam. The objective of this work is to discuss the possibility of offering a pretest to the EPPLE oral test, with criterion validity, and available on mobile devices. Thus, the pretest was improved over an earlier version, and taken by two groups of Brazilian English teachers (in pre-service education). The first group took the test through computers and the second through smartphones. Part of these participants also took the EPPLE examination. Our data is provided by the scores in both tests, field observations during the applications, and a survey answered by participants shortly after taking the pretest, in which they are asked about their general view of the pretest and also about the means of application (computers or mobile devices). In our analysis, we compared results of the pretest to the EPPLE’s, looking for evidence of predictive and parallel validity. In addition, we investigated potential challenges and advantages of using the proposed technologies in the application of the pretest. The results pointed to a parallel, although not quite direct, relationship between the results of the oral EPPLE and the pretest, which suggests that the pretest can be used as a prediction tool. Besides, there was no significant difference in the results of the applications through cell phones and computers, although in the surveys the participants pointed out characteristics of each technology, describing advantages and disadvantages. The results therefore indicate that it possible to develop a valid pretest that is also available on mobile devices, despite the limitations found during the study. Our analysis has also directed us to some possibilities to improve the pretest even more, based on the version developed in this research, so that it can be a more reliable prediction instrument for the oral test in the EPPLE examination.