Análise quantitativa da concordância entre usuários avaliadores de objetos de aprendizagem: um estudo de caso com dados do repositório Merlot

Abstract

Com o aumento contínuo do uso de objetos de aprendizagem é importante que os repositórios de objetos de aprendizagem (ROA) adotem estratégias para a garantia da qualidade dos recursos. Exemplos dessas estratégias são o sistema de avaliação por pares de especialistas, avaliação realizada pelos usuários com pontuação e/ou comentários, premiação do editor, entre outros. Por exemplo, o Merlot busca garantir a qualidade dos recursos por meio de avaliações e pontuações fornecidas por pares-revisores (especialistas) e pela comunidade de usuários de diferentes áreas. Como podem ocorrer discrepâncias na avaliação da qualidade dos objetos de aprendizagem, é necessário entender o grau de concordância entre os usuários que são avaliadores no Merlot. Diante disso, o presente trabalho tem como objetivo analisar a concordância e a existência de associações entre os usuários que realizaram avaliações dentro do repositório Merlot. Para isso, foram realizados dois estudos de caso com dados coletados no Merlot. O primeiro estudo de caso avaliou a concordância entre pares de avaliadores que classificaram o mesmo conjunto de recursos considerando suas disciplinas preferidas e área de especialização. O segundo estudo de caso mediu a associação entre as classificações das médias das notas fornecidas pelos avaliadores provenientes de diferentes categorias de disciplina. Os resultados apontaram que os usuários avaliadores apresentam grande divergência nas avaliações fornecidas para o mesmo recurso. Além disso, as classificações das médias dos recursos considerando os avaliadores de diferentes categorias de disciplina não mostraram correlação. Os resultados aqui encontrados podem ser utilizados para aprimorar os mecanismos de garantia da qualidade dentro dos repositórios, bem como para o desenvolvimento de novas formas de apresentação das informações relacionadas à qualidade dos recursos.

Abstract: With the continuous increase in learning objects usage it is important that learning object repositories (LOR) adopt measures to assure the quality of their resources. Examples of these strategies are the peer review system, the assessment carried out by users with scores or/and comments, editor awards, among others. For instance, Merlot seeks to ensure the quality of the resources by using evaluations and scores provided by peer-reviewers (experts) and the community of users from different areas. As discrepancies in the assessment of the quality of learning objects may occur, it is necessary to understand the degree of agreement between users that are evaluators in Merlot. Considering this, the present work aims to analyze the agreement and the existence of associations between the users who performed evaluations inside the Merlot repository. For that, two case studies were carried out with data collected from Merlot. The first case study assessed the agreement between pairs of evaluators who rated the same set of resources and considering their preferred disciplines and area of expertise. The second case study measured the association between the average ratings of the resources given by evaluators coming from different categories of discipline. Results pointed out that evaluators present a great disagreement in the ratings they give for the same resource. Moreover, the average ratings of the resources considering the evaluators from differnt categories of discipline have shown no correlation. The results found here may be used to improve the mechanisms for quality assurance inside the repositories as well as the development of new forms of presenting the information related to the quality of the resources.