Introducimos Transformer For Ensemble (TransForE), un método basado en Transformer para trabajar problemas de clasificación de texto de múltiples clases con un fuerte desequilibrio de etiquetas a fin de combinar el aprendizaje de múltiples modelos base a partir de las salidas de ellos, así como el texto mismo, en una especie de máquina de ensamblado parametrizada cuyo propósito es mejorar, o al menos mantener, la eficacia de los modelos base utilizados. TransForE utiliza los conocidos módulos de auto-atención de múltiples cabezales, propio de Transformer, con el propósito de aprender a combinar las múltiples componentes de entrada.