test6_balanced

Este modelo ha sido ajustado para la clasificación de cero disparos utilizando una versión preentrenada de ibaucells/RoBERTa-ca-CaWikiTC en el conjunto de datos None. Logra los siguientes resultados en el conjunto de evaluación:

• Pérdida: 1.6982

Descripción del modelo

Se necesita más información sobre este modelo.

Usos previstos y limitaciones

Se necesita más información sobre los usos previstos y las limitaciones de este modelo.

Datos de entrenamiento y evaluación

Se necesita más información sobre los datos utilizados para entrenar y evaluar este modelo.

Procedimiento de entrenamiento

Hiperparámetros de entrenamiento

Se utilizaron los siguientes hiperparámetros durante el entrenamiento:

• learning_rate: 5e-05
• train_batch_size: 10
• eval_batch_size: 10
• seed: 42
• optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 25

Resultados del entrenamiento

Pérdida de entrenamiento	Época	Paso	Pérdida de validación
2.8358	1.0	63	2.8655
2.8469	2.0	126	2.8447
...	...	...	...

Versiones del framework

• Transformers 4.38.2
• Pytorch 2.1.0+cu121
• Datasets 2.18.0
• Tokenizers 0.15.2