Este repositorio tem como objetivo aumentar a habilidade do modelo "Llama 2" em falar português. Visto que treinar o modelo inteiro seria completamente inviável, considerando nossos recursos financeiros, utilizamos a técnica PEFT qlora apresentada no artigo QLoRA - Efficient Finetuning of Quantized LLMs. Esta técnica nos permite treinar o modelo utilizando quantização 4bit juntamente dos benefícios de apenas treinar alguns dos parâmetros do mesmo, gerando um "adaptador" com os valores que serâo combinados com os pesos originais durante a inferência. A utilização dá técnica qlora habilita a execução do treinamento de modelos Llama com até 30 bilhões de parâmetros, em apenas uma placa de vídeo com 24GB de VRAM. O modelo citado neste repositório foi treinado em uma "RTX 3090" durante 1 epoch inteiro, demorando por volta de 24 horas. Utilizamos a plataforma "Axolotl" para efetuar o treinamento do modelo. O arquivo de hiperparâmetros também foi disponibilizado aqui
Dentro da pasta "webscraping" contém todos os scripts utilizados para efetuar o download dos artigos, parsing do conteúdo html e limpeza de conteúdo repetitivos. Além de conter as páginas html onde retiramos os links dos artigos.
O dataset utilizado no projeto é o resultado do processo de scrapping de diversos jornais respeitáveis brasileiros. Os scripts de limpeza dos dados estão disponíveis no repositório.
Dataset utilizado news-brazillian-clean
Modelo lora br-news
TODOs:
-
Efetuar o mesmo finetuning com qlora no modelo Mistral 7B.
-
Aumentar o dataset para 1 bilhão de tokens. (Atual possui ~100 milhões de tokens)
-
Adicionar os seguintes sites de noticias no dataset atual:
- ICL News Letter
- Outraspalavras
- thetricontinental
- emdefesadocomunismo
- lavrapalavra
- MST - biblioteca-da-questao-agraria
-
Desenvolver um script para limpar livros.
- Adicionar livros marxistas em portugues.
-