Sumarização abstrativa de texto por meio do modelo teórico computacional cognitivo lida

Abstract

Os modelos de sumarização automática de texto surgiram na metade do século XX e por muito tempo foram desenvolvidos de maneira extrativa. Os modelos extrativos de sumarização de texto utilizam partes do texto original para construir o resumo (CELIKYILMAZ et al., 2018), gerando muitas vezes problemas de coerência e coesão quando as diferentes partes são lidas juntas.Em contrapartida, na última década, a abordagem abstrativa vem sendo bastante explorada,e diferentemente da extrativa, gera novas palavras que possivelmente não se encontram no textooriginal para construir o resumo (CELIKYILMAZ et al., 2018). Essa abordagem pode corrigir oproblema de coerência e coesão, dado que se aproxima muito do modo como são construídos os resumos por humanos (SEE; LIU; MANNING, 2017). Porém, a sumarização abstrativa ainda enfrenta alguns problemas na geração do resumo, mesmo apresentando resultados satisfatórios em métricas automáticas de validação. Além disso, quando avaliados por humanos os resumos expõem problemas, como redundância, na dinâmica de leitura que ainda não é fluída. Por outro lado, há décadas são propostos modelos teóricos computacionais cognitivos que se baseiam nas teorias da psicologia e neurociência sobre a consciência, e que permitem a adaptação para diferentes aplicações, tendo ainda, como um dos modelos mais conhecidos, o LIDA (FRANKLIN et al., 2016). O presente trabalho propõe um modelo de sumarização abstrativa de texto baseado na estrutura teórica do LIDA utilizando técnicas já aplicadas para essa abordagem, tais como: Sequence-to-Sequence (Seq2Seq) (SUTSKEVER; VINYALS; LE, 2014), Word2vec (MIKOLOV et al., 2013a), Long Short-Term Memory (LSTM) (HOCHREITER; SCHMIDHUBER, 1997) e Mecanismo de Atenção (BAHDANAU; CHO; BENGIO, 2014). Os resultados mostraram a importância dos módulos do LIDA na composição do modelo proposto, reforçando a importância dos módulos: Memória Perceptiva Associativa, Codeletes de Atenção e Espaço de Trabalho Global. Além disso, o trabalho ressaltou a fragilidade da métrica ROUGE na avaliação dos resumos gerados quanto a coerência e coesão. E por fim, a técnica de redução de dimensão utilizada no word embedding, se mostrou ineficaz para a tarefa

Automatic text summarization models appeared in the middle of the 20th century and for a long time were developed in an extractive manner. Extractive text summarization models use parts of the original text to construct the abstract (CELIKYILMAZ et al., 2018), which often generates coherence and cohesion problems when different parts are read together. On the other hand, in the last decade, an abstract approach has been extensively explored, and unlike the extractive one, it generates new words that possibly cannot be identified in the original text to construct the abstract (CELIKYILMAZ et al., 2018). This approach can solve the coherence and cohesion problem, whereas it is very close to the way that abstracts are constructed by humans (SEE; LIU; MANNING, 2017). However, the abstractive summarization still faces some problems in abstract generation, even presenting satisfactory results in automatic validation metrics, when evaluated by humans the abstracts expose problems in the reading dynamics which are not yet fluid. On the other hand, theoretical cognitive computacional models have been proposed for decades, which are based on psychology and neuroscience theories about consciousness and allow adaptation to different applications, having LIDA (FRANKLIN et al., 2016) as one of the best-known models. The present work proposes an abstractive text summarization model based on the LIDA theoretical structure using techniques already applied for the abstractive approach, such as: Sequence-to-Sequence (Seq2Seq) (SUTSKEVER; VINYALS; LE, 2014), Word2vec (MIKOLOV et al., 2013a), Long Short-Term Memory (LSTM) (HOCHREITER; SCHMIDHUBER, 1997) and Attention Mechanism (BAHDANAU; CHO; BENGIO, 2014). The results showed the importance of LIDA modules in the composition of the proposed model, reinforcing the importance of the modules: Perceptual Associative Memory, Attention Codelettes and Global Workspace. In addition, the work highlighted the fragility of the ROUGE metric in the evaluation of the generated summaries regarding coherence and cohesion. And finally, the dimensionreduction technique used in word embedding, proved to be ineffective for the task