|
|
--- |
|
|
license: apache-2.0 |
|
|
pipeline_tag: text-generation |
|
|
language: |
|
|
- ja |
|
|
- en |
|
|
datasets: |
|
|
- hotchpotch/fineweb-2-edu-japanese |
|
|
- HuggingFaceTB/smollm-corpus |
|
|
- HuggingFaceFW/finepdfs |
|
|
- OmniAICreator/WebNovels-Ja |
|
|
--- |
|
|
|
|
|
## 概要 |
|
|
Phi3アーキテクチャのモデルです。 |
|
|
context sizeは256です。 |
|
|
|
|
|
## dataset |
|
|
以下のデータセットで1epoch回しました。 |
|
|
- [HuggingFaceTB/smollm-corpus](huggingface.co/datasets/HuggingFaceTB/smollm-corpus) |
|
|
- cosmopedia-v2: 10,000,000件 |
|
|
- fineweb-edu-dedup: 10,000,000件 |
|
|
- [hotchpotch/fineweb-2-edu-japanese](huggingface.co/datasets/hotchpotch/fineweb-2-edu-japanese) |
|
|
- sample_10BT: 15,000,000件 |
|
|
- [HuggingFaceFW/finepdfs](huggingface.co/datasets/HuggingFaceFW/finepdfs) |
|
|
- jpn_Jpan: 10,000,000件 |
|
|
- eng_Latn: 100,000件 |
|
|
- [OmniAICreator/WebNovels-Ja](huggingface.co/datasets/OmniAICreator/WebNovels-Ja) |
|
|
- 2,560,871件 |
|
|
|
|
|
バッチサイズ: 140 |
|
|
ステップ数: 2094240 |
|
|
トレーニングトークン合計数: 75B tokens |
|
|
学習率: 3e-4 |
|
|
|
|
|
## tokenizer |
|
|
[Rakuten/RakutenAI-2.0-mini-instruct](Rakuten/RakutenAI-2.0-mini-instruct)を使用しました。 |
|
|
日本語対応LLMであり、vocab_sizeが48000と学習に使いやすそうだったからです。」 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
