Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2022.O câncer de cavidade oral é um problema de saúde global, com mais de 350.000 novos casos a cada ano. Essa patologia, se descoberta em fases iniciais, possui grandes chances de cura. A citologia usando o corante de Papanicolau é um método de baixo custo e não invasivo que pode ser usado como exame preventivo e a análise computacional tem a capacidade de diminuir a subjetividade inerente à análise manual desse processo. Neste trabalho, procura-se identificar qual a melhor abordagem para essa automatização usando Redes Neurais Convolucionais. Para isso, foi realizado um levantamento do estado da arte dessa aplicação e elaborado um conjunto de dados com 8 pacientes e 6.753 imagens para treinamento das redes. A partir disso, foram testados e comparados diferentes modelos de segmentação (U-Net e HRNet), detecção (Faster R-CNN e Mask R-CNN) e classificação de imagens (HRNet e ResNet) com abordagens binárias e multiclasse para localizar e classificar núcleos celulares em imagens de citologia convencional de cavidade oral usando a coloração de Papanicolau. Os experimentos mostraram que a abordagem de detecção de objetos usando o modelo Mask R-CNN com backbone ResNet 101 é a melhor para detecção de núcleos anormais no conjunto de dados (0,74 de F1 Score). Além disso, o modelo de detecção Faster R-CNN com backbone HRNet 48 mostrou os melhores resultados para detecção de núcleos saudáveis (0,78 de F1 Score). Os resultados reforçam ainda que a análise assistida por computador de amostras de citologia pode ajudar a aumentar a adesão a esse método como exame preventivo.Abstract: Oral cancer is a global health problem with over 350,000 people affected each year. This pathology, if early detected, has a high cure rate. The Papanicolaou stained cytology is a low-cost, non-invasive method that can be used for cancer screening and the computer-assisted analysis can help to reduce the subjectivity of the human analysis of this process. This work aims to identify the best approach to this automatization using Convolutional Neural Networks. To do that, the state-of-the-art of this application was identified and a dataset comprising 8 patients and 6,753 images was created to train the networks. After that, different models of segmentation (U-Net e HRNet), detection (Faster R-CNN e Mask R-CNN), and image classification (HRNet e ResNet) were tested and compared using multiclass and binary approaches to localize and classify cell nuclei in Papanicolaou stained oral cavity conventional cytology images. The experiments showed that the object detection approach with Mask R-CNN with ResNet 101 backbone was the best to detect abnormal nuclei in the dataset (0.74 F1 Score). Additionally, the Faster R-CNN detection model with HRNet 48 showed the best results for healthy nuclei detection (0.78 F1 Score). The results reinforce that a computer-assisted analysis of cytology samples can help to spread the use of this method as a screening exam.