AVALIAÇÃO DO TD-BERT COM DIFERENTES MODELOS DE REPRESENTAÇÃO TEXTUAL PARA TAREFAS DE CLASSIFICAÇÃO DE TEXTOS

Resumo

A quantidade de dados gerados na internet cresceu exponencialmente na última década. Técnicas de Mineração de Textos e modelos de aprendizado de máquina são utilizados para obter conhecimento útil utilizando um grande volume de dados. Nesse contexto, a Mineração de Textos (MT), uma das principais atividades da Mineração de Dados (MD), é o processo que busca descobrir conhecimento útil e padrões ocultos a partir de um grande volume de textos. Inicialmente, modelos de matriz atributo-valor (BoW) foram apresentados na literatura para gerar representações vetoriais de textos. No entanto, as matrizes possuem alta dimensionalidade e não representam recursos semânticos dos textos. Atualmente, modelos com base na arquitetura Transformers são considerados como o estado-da-arte para representações textuais. No entanto, esses modelos geram vetores singulares e difíceis de serem compreendidos. Recentemente, uma representação denominada TD-BERT foi apresentada na literatura, considerando aspectos semânticos de dados textuais. Dessa forma, este trabalho propõe uma avaliação aprimorada do TD-BERT considerando seis representações vetoriais de textos para três datasets de diferentes domínios. A metodologia deste trabalho avalia diferentes modelos de representação textual aplicados em tarefas de classificação. As principais atividades concentram-se nas etapas de pré-processamento e avaliação experimental. Conclui-se que foram selecionados quatro algoritmos de diferentes paradigmas de aprendizagem e seis modelos de representação textual, considerando a abordagem TD-BERT, que se mostrou eficaz e obteve resultados similares aos demais.