LLM学習専用ライブラリを用いてベースライン開発(~3/15)

• 標準コードをつなぎ合わせて3/15から提供される環境で実験が行えるコードをつくる
• 3/15以降も微調整は行う(マルチGPU対応とか)

小規模(100M程度)で実験して有効なアイデアを絞り込み(~4/8)

• 標準コード+αで実験したいアイデアを出す
• 有望そうなアイデアを実装する
• 実行時間を見積り、優先度の高いものから期限内に終えられるように実験計画を立てる
  • 標準コードだと1実験に4GPU日程度かかる試算(データ量の調整や実験の打ち止め、マルチGPUの使用で時間を調整する余地はある)
  • 個人単位でGPU提供となっているが、複数人でマルチGPU学習はできるらしい
• 実験を行う
• 評価基準を定め、実験結果からアイデアを絞り込む
  • 精度を何で測定するのか？
  • 安定性をどの程度重要視するか？(事前学習が発散するとやり直しが効かない場合も)
  • 速度はどの程度必要か？(遅すぎると事前学習が終わらない/事後学習する時間がない)

大規模(数B~10B)モデル学習の準備(~4/15)

• 実験で絞り込んだアイデアを取り入れて、モデルを学習するコードを作成する
• モデルの保存とモニタリングを行うコードを作成する
• 作成したコードをテストする

大規模(数B~10B)モデルを学習(~5/7)

• 学習を実行する
• 学習が失敗していないか監視する
• 祈る
  • 10Bクラスのモデルを作成する場合、提供される20GPUを用いて14日程度かかる試算(weblab-10bと同じモデルの場合)
  • フルで2度行うのは無理

事後学習(~5/15)

• 適切な応答ができるように事後学習する
  • 評価時はプロンプト固定なのでこちらで出力を良い感じに調整できない
  • 望ましい形で出力できる能力がないとスコアがつかないかも
  • 実験としては最後だが、指示データセットの収集都合があるので早く決める必要あり