Este estudo teve como objetivo avaliar a usabilidade e a eficácia da ferramenta TuPy Online na aprendizagem de disciplinas do curso de Ciência da Computação da Universidade do Estado do Rio de Janeiro. O TuPy Online foi idealizado como uma ferramenta para visualização de execução de algoritmos, com ênfase na exibição de estruturas de dados, em diferentes níveis de abstração. Utilizando a metodologia de Savi et al. para avaliação de aprendizagem, verificamos que a introdução da ferramenta produziu impacto positivo e, considerando o aspecto de percepção dos alunos, um impacto ainda mais expressivo. Medimos a usabilidade usando o questionário SUS, além de um questionário em busca de um retorno específico referente às funcionalidades do TuPy Online. Os resultados foram positivos e propiciaram o mapeamento de possíveis melhorias do software.