metadata
license: apache-2.0
pipeline_tag: text-generation
language:
- ja
- en
datasets:
- hotchpotch/fineweb-2-edu-japanese
- HuggingFaceTB/smollm-corpus
- HuggingFaceFW/finepdfs
- OmniAICreator/WebNovels-Ja
概要
Phi3アーキテクチャのモデルです。 context sizeは256です。
dataset
以下のデータセットで1epoch回しました。
- HuggingFaceTB/smollm-corpus
- cosmopedia-v2: 10,000,000件
- fineweb-edu-dedup: 10,000,000件
- hotchpotch/fineweb-2-edu-japanese
- sample_10BT: 15,000,000件
- HuggingFaceFW/finepdfs
- jpn_Jpan: 10,000,000件
- eng_Latn: 100,000件
- OmniAICreator/WebNovels-Ja
- 2,560,871件
バッチサイズ: 140 ステップ数: 2094240 トレーニングトークン合計数: 75B tokens 学習率: 3e-4
tokenizer
Rakuten/RakutenAI-2.0-mini-instructを使用しました。 日本語対応LLMであり、vocab_sizeが48000と学習に使いやすそうだったからです。」