KINO: an approach for rule-based chatbot development, monitoring and evaluation

Abstract

Chatbots são programas de computador que atuam como agentes conversacionais inventados na década de 1960 respondendo em linguagem humana. Ainda há muitos desafios e oportunidades a serem explorados, apesar de mais de cinquenta anos se passarem desde a criação do primeiro chatbot. O objetivo desta pesquisa é desenvolver a implementação, avaliação e monitoramento de um chatbot baseado em regras. Tendo isso em mente, KINO, um bot que responde a perguntas sobre filmes, foi desenvolvido. A arquitetura do KINO é apresentada, juntamente com desafios e soluções propostas descritas como uma referência para o desenvolvimento de outros chatbots. Um experimento foi realizado no Facebook com mais de 300 usuários gerando métricas automatizadas de assertividade e feedback para avaliação e monitoramento. Essas métricas foram validadas usando diferentes métodos de normalização de texto em português do Brasil: RiveNorm, Enelvo e UGCNormal. Como resultado, a viabilidade da avaliação e monitoramento propostos foi demonstrada, gerando várias análises. Além disso, as análises das métricas coletadas mostraram problemas que permitem manutenção futura e possíveis melhorias do KINO.