Impacto do Tamanho da Amostra de Treinamento e do Vocabulário Para Tarefas de Classificação de Texto

Resumo

O crescimento dos modelos de linguagem baseados em arquiteturas Transformer tem ampliado significativamente as possibilidades de aplicação do Processamento de Linguagem Natural em tarefas de classificação de texto. Entretanto, aspectos fundamentais do treinamento desses modelos, como o tamanho do vocabulário e a quantidade de amostras utilizadas, ainda contam com poucas orientações práticas para sua configuração em tarefas de classificação de texto. Este trabalho analisa o impacto desses dois fatores no desempenho de modelos de classificação de texto utilizando o DistilRoBERTa. Foram realizados experimentos com dois conjuntos de dados públicos disponibilizados pela plataforma Hugging Face: um conjunto de resumos de artigos médicos, binarizado para neoplasmas contra as demais classes, e um conjunto de avaliações de filmes do IMDb. O estudo empregou validação cruzada k-fold (k = 5), planejamento fatorial 2^k e a métrica AUC-ROC para avaliar o desempenho dos modelos. Comparou-se o DistilRoBERTa com seu vocabulário original (genérico) e com um vocabulário reduzido e especializado, gerado a partir do corpus de treinamento, além de um modelo de propósito geral baseado em LLM, o GPT-3.5-turbo. Em amostras de 1000 a 5000 exemplos, o vocabulário original apresentou o melhor desempenho global entre as variantes do DistilRoBERTa em ambas as bases, e o vocabulário reduzido teve desempenho inferior, com maior variabilidade entre os folds em amostras menores. O vocabulário reduzido, porém, foi o que mais se beneficiou do aumento da amostra e, na base médica, superou o GPT-3.5-turbo para 2500 e 5000 amostras. A influência relativa do vocabulário e da amostra depende do domínio e do conjunto de dados: o vocabulário explicou a maior parte da variação total, em maior grau no IMDb do que na base médica. Os resultados contribuem para uma melhor compreensão dos fatores que influenciam o desempenho de modelos de classificação de texto e fornecem subsídios para o planejamento mais eficiente de experimentos em Processamento de Linguagem Natural.