評価指標

• LLM-jp-eval（JGLUE）
• JMT-bench
• 今後増えるかも

学習使用禁止データセット

日本語

• Jaster
• MT-Bench

英語

• MMLU
• MT-Bench

学習の流れ

• 事前学習（Next Token Prediction）
• 指示学習（Supervised Fine-Tuning）
• アラインメント（DPO）

データセット

事前学習（Next Token Prediction）

1. 英語、コードで1epoch学習
2. 日本語、英語、コードで1epoch学習