Avaliação da compreensão leitora: parâmetros e critérios essenciais para a construção de instrumentos

Abstract

Avaliar os aspectos individuais da compreensão leitora constitui-se em uma tarefa desafiadora, sobretudo pela complexidade do processamento envolvido na compreensão de leitura proficiente e pelo fato de que a observação dos seus processos, e de alguns dos seus produtos, é indireta. Essa tarefa implica desenvolver e aprimorar mecanismos de criação de instrumentos que garantam inferir de modo confiável e válido como ocorre a compreensão de um texto escrito e qual seu resultado. A confiabilidade e a validade das interpretações das pontuações de tais instrumentos dependem de uma série de condições (parâmetros, critérios e atributos) que devem ser respeitadas em todas as etapas de seu desenvolvimento. Com vistas a contribuir com informações e conhecimentos sobre essa temática ainda pouco investigada, especialmente no Brasil, o objetivo geral deste estudo foi estabelecer parâmetros e critérios essenciais a serem adotados para que um instrumento de avaliação da compreensão leitora, bem como as inferências feitas a partir de seus resultados, sejam considerados válidos e confiáveis. Objetivou-se especificamente: a) identificar de que maneira a compreensão leitora se constrói, se reflete, se materializa e se evidencia no comportamento leitor (processo e produto); b) examinar quais habilidades de compreensão são requeridas na leitura proficiente e o que considerar ao medi-las; c) identificar quais parâmetros e critérios são mencionados na literatura da área; d) indicar quais desses parâmetros e critérios são determinantes e por quê; e) elencar outros aspectos que devem ser considerados para a qualidade de um instrumento de avaliação da compreensão leitora. Esta é uma pesquisa bibliográfica, fundamentada principalmente em estudos psicolinguísticos ou que tenham interface com esta área do conhecimento. Por meio desta investigação, pretendeu-se identificar na literatura da área, entre pesquisadores que têm se dedicado ao tema, quais são esses elementos, que envolvem aspectos relacionados ao leitor (e.g. processos cognitivos, habilidades, nível de competência, desempenho, conhecimentos), ao texto (e.g. tipo e gênero textuais, extensão, conteúdo, linguagem, complexidade sintática, densidade lexical), aos objetivos, tanto da leitura como da avaliação, bem como aspectos relativos à natureza da tarefa (estrutura e constituição do instrumento) e do contexto de aplicação. Não se pretendeu investigar parâmetros específicos a determinado grupo de leitores, com experiência leitora particular, e sim parâmetros gerais e essenciais em termos de compreensão leitora. Tampouco focalizou-se populações atípicas, isto é, populações de pessoas com deficiência ou com problemas de saúde que interfiram nas condições de leitura (exceto nos casos de problemas de compreensão leitora decorrentes da condição socioeconômica ou baixa qualidade de escolarização, quando essas condições não afetarem o indivíduo em termos de saúde física). Os parâmetros investigados foram especialmente considerados para fins de pesquisas que visem avaliar a compreensão leitora, mas também atendem e devem ser utilizados, na medida do possível, para a construção de instrumentos nos âmbitos educacional, da clínica, entre outros, conforme suas condições, propósitos e abrangências. A pesquisa é do tipo teórica, de cunho qualitativo. Os resultados encontrados apontaram não só para parâmetros e critérios essenciais, mas também a atributos, ou seja, características pormenorizadas de cada um deles; sua essencialidade foi inferida com base no volume de menções feitas a eles na literatura, bem como na ênfase e detalhamento dados pelos pesquisadores. Os parâmetros ? e seus desdobramentos - procurados, identificados e categorizados, nesta pesquisa, fazem parte das discussões implicitamente, estão diluídos nos textos que, em geral, estão organizados pelas etapas da construção dos instrumentos, quais sejam, seu planejamento, desenvolvimento, validação, aplicação e interpretação de escores, incluídos os aspectos éticos - e foram assim agrupados e organizados nesta pesquisa. De modo resumido, alguns dos parâmetros identificados nesta investigação como essenciais para a validade e confiabilidade do instrumento foram: definição dos fundamentos epistemológico-teóricos subjacentes; discriminação dos procedimentos teóricos; estabelecimento do foco da avaliação; indicação do método da avaliação; seleção e adaptação do(s) texto(s)-base, consideração de critérios de adequação dos itens elaborados; garantia da justiça no desenho do teste; existência de rubrica para os itens; busca de evidências de validade; justificativa de escolha do instrumento; apresentação do sistema de correção e interpretação dos escores, explicitando a lógica que fundamenta o procedimento; competência profissional, entre outros.

Abstract: Assessing individual aspects of reading comprehension is a challenging task, mainly due to the complexity of the processing involved in proficient reading comprehension, and the fact that the observation of its processes, and of some of its products, is indirect. This task involves developing and improving the creating or adapting instrument mechanisms that guarantee to infer reliably and validly about how the understanding of a written text occurs and its result is. The reliability and validity of the interpretations of the scores of such instruments depend on a series of conditions (parameters, criteria and attributes) that must be respected at all stages of their development. In order to contribute with information and knowledge on this subject, that still has few investigations, especially in Brazil, the general objective of this study was to establish essential parameters and criteria to be adopted so that an assess reading comprehension instrument, as well as the inferences made from its results, are considered valid and reliable. The objective was specifically: a) to identify how reading comprehension is built, reflected, materialized and evidenced in the reader's behavior (process and product); b) examine what comprehension skills are required in proficient reading and what to consider when measuring them; c) identify which parameters and criteria are mentioned by the literature in the area; d) indicate which of these parameters and criteria are decisive and why; e) list other aspects that should be considered for the quality of a reading comprehension assessment instrument. This is a bibliographical study, based mainly on psycholinguistic studies or studies that are related with this area of knowledge. Through this investigation, it was intended to identify in the literature of the area, among researchers who have been dedicated to the subject, what are these elements, which involve aspects related to the reader (e.g., cognitive processes, skills, level of competence, performance, knowledge), the text (e.g., textual type and genre, extension, content, language, syntactic complexity, lexical density), the objectives of both reading and evaluation, as well as aspects related to the nature of the task (structure and constitution of the instrument) and the context of application. It was not intended to investigate specific parameters of a particular group of readers, with particular reading experience, but general and essential parameters in terms of reading comprehension. Nor was it focused on atypical populations, that is, populations of people with disabilities or with health problems that interfere with reading conditions (except in cases of reading comprehension problems resulting from socioeconomic status or low quality of schooling, when these conditions do not affect the individual in terms of physical health). The parameters investigated were especially considered for research purposes aimed at assessing reading comprehension, but they also meet and should be used, as far as possible, for the development of instruments within the educational and clinical scope, among others, according to their conditions, purposes and coverage. The research is theoretical and qualitative in nature. The results found pointed not only to essential parameters and criteria, but also to attributes, that is, detailed characteristics of each one of them; their essentiality was inferred based on the number of mentions made to them in the literature, as well as the emphasis and detail given by the researchers. The parameters - and their consequences - sought, identified and categorized, in this research, are part of the discussions implicitly, they are diluted in the texts that, in general, are organized by the stages of construction of the instruments, namely, their planning, development, validation, application and interpretation of scores, including the ethical aspects - and were thus grouped and organized in this research. In summary, some of the parameters identified in this investigation as essential for the validity and reliability of the instrument were: definition of the underlying epistemological-theoretical foundations; discrimination of theoretical procedures; establishing the focus of the evaluation; indication of the evaluation method; selection and adaptation of the base text(s), consideration of adequacy criteria for the elaborated items; ensuring fairness in test design; existence of a rubric for the items; search for evidence of validity; justification for choosing the instrument; presentation of the score correction and interpretation system, explaining the logic underlying the procedure; professional competence, among others.