phase1のデータ

280b token程度を学習したモデル(多分｡)

5/24のsnapshotを利用

hf_to_megatron_llama3-8b_0627.sh

phase2 8bでの継続学習 6/27-7/10

詳細は以下のページ

8b xN　立ち上げメモ

• llmjpのwetコーパスと､fineweb-eduを学習

• 合計1.2T token程度のところ､0.8 T Token程度を学習

  • 7/10に謎のエラーが発生

  • 原因究明は必要｡

    slurm-38169.out

  • そろそろmoeに切り替えても良さそうだったので､学習を中断

• wandbはこちら

• https://wandb.ai/weblab-geniac1/Llama-3-8B

• モデル@iter 126000

• https://huggingface.co/team-hatakeyama-phase2/pretrain_iter_0126000

• scriptのpath

  • /storage5/shared/hatakeyama/0611te/Megatron-LM/scripts/tsubame/tanuki-8b

データ一覧