前提

• LLM開発コンペのルール
  • 資料：https://docs.google.com/presentation/d/1dsbqkY88bpj4XQAI4lprRjMCCokdK5-cn78HX-4nynw/edit#slide=id.p
  • ポイント(※資料は更新される可能性あり)

    • スケジュール

      • 3~4月：各自1GPU→チームでマルチノード、0.1Bモデル学習
      • 4~5月：H100 20GPU*30日、10B程度のモデル
      • 6~8月(成績が良ければ)：50Bモデル

    • 評価指標

      • LLM-jp-eval (一問一答形式)
      • JMT-bench (文章生成形式)
      • ただし、汎用的な能力を持っているのが前提

    • 標準コード

      • OSSを利用して学習に必要な手順を行うコードが提供される予定

      • そのままで動くのか、各手順の見本となるコードが提供されるだけで、繋ぎは自分達でやらないと動かないのかは不明

      • 提供時期は不明

      • 内容

        

    • 標準データ

      • 代表的なコーパスが提供される

      • 計算機環境の共有ディスクに置かれるとのこと(4月までの環境に置いてるか不明)

      • 内容

        

    • その他ルール

      • 事前学習済みモデルは使用禁止、スクラッチ開発
      • 以下の学習データの使用禁止
        • 日本語データ：Jaster(JGLUE含む), MT-Bench（日本語）
        • 英語データ：MMLU，MT-Bench（英語）
      • パラメータサイズは目安で、提供された計算資源の範囲であれば自由

疑問点

• 標準コードが提供されるタイミングはいつなのか？
• 標準コードはそのまま学習が実行できるものなのか？繋ぎは実装しなければならないのか？
• モデルのアーキテクチャは既存モデルのものを使用して良いのか？
• 学習に要する時間はどの程度なのか？