README.md

metadata

model_name: BumbaLM-3B-Instruct-v0.1
base_model: Qwen/Qwen2.5-3B-Instruct
language:
  - pt
tags:
  - nlp
  - legal
  - direito
  - text-generation
  - fine-tuning
  - qwen
license: apache-2.0
datasets:
  - legal-dataset-1k

⚖️ BumbaLM-3B-Instruct-v0.1

BumbaLM é um modelo de linguagem grande (LLM) fine-tuned focado no domínio jurídico brasileiro. Ele foi treinado a partir do Qwen2.5-3B-Instruct utilizando técnicas de Supervised Fine-Tuning (SFT) e Low-Rank Adaptation (LoRA).

Objetivos do Modelo

Este modelo foi desenvolvido para auxiliar em tarefas jurídicas, tais como:

• Geração de Texto: Redação de parágrafos argumentativos.
• Análise: Identificação de teses jurídicas em textos.
• Resumo: Sumarização de peças processuais e jurisprudência.
• Instrução: Capacidade de seguir instruções complexas em português jurídico.

Métricas de Treinamento

Abaixo, a evolução da perda (loss) durante o treinamento, demonstrando a convergência do modelo:

Step	Training Loss
5	2.3268
10	1.5827
15	1.3338
20	1.1551
25	1.0981
30	1.0721
35	1.0672
40	1.0168
45	1.0634
50	1.0342
55	1.1836
60	1.0630
65	1.0181
70	1.0249
75	1.0579
80	1.0363
85	0.9673
90	1.0552
95	0.9377

Como usar

Você pode utilizar este modelo diretamente com a biblioteca transformers:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

model_id = "fabricioalmeida/BumbaLM-3B-Instruct-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype=torch.float16
)

pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)

prompt = "<|user|>\nExplique o conceito de Dano Moral no direito brasileiro.\n<|assistant|>\n"

outputs = pipe(
    prompt,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.7,
    top_k=50,
    top_p=0.95
)

print(outputs[0]["generated_text"])

Detalhes do Treinamento

Modelo Base: Qwen/Qwen2.5-3B-Instruct

Método: QLoRA (4-bit quantization)

Dataset: Dados jurídicos proprietários e sintéticos (Teacher-Student distillation).

Framework: Treinado usando trl, peft e transformers.

Limitações e Viés

Como todo LLM, o BumbaLM pode alucinar informações ou reproduzir vieses presentes nos dados de treinamento. As respostas geradas não substituem a consulta a um advogado ou profissional do direito. Use com cautela e sempre verifique as referências legais.

---

Desenvolvido por Equipe UEMA/TJMA