松尾研LLM開発プロジェクト*1 たぬきチームの週次報告です。

8チームに分かれ、各チームで大規模言語モデルをフルスクラッチで作りその性能を競います。最終的には500億パラメータサイズの大規模言語モデル開発することを目的としています。LLM開発プロジェクトの裾野を広げるという教育的要素もあるプロジェクトです。

録画

https://zoom.us/rec/share/9zsJ4hbOodgTJ5TJ0d4FpDFT2amdxjsTkhKMX-SiunoFk0fBmIW0_p7ioXbU9EJ5.Z0eZkfrR0B74tWd5

パスコード： H*D5MVeq

開発テーマ・概要

• 日本語指示データセットの収集、事前学習データセットの作成、モデルの事前処理・学習・評価のパイプライン実装などを行っている。
• 誰でも開発に参画できるように可能な限りオープンに開発を進めている。
• サイドプロジェクトとしてファインチューニングに必要な日本語の指示データセットの作成を行なっている。（詳細はこちらの note 記事参照 https://note.com/kan_hatakeyama/n/n02201c8692f5）
• コアとなる部分は「Branch-Train-Merge x 混合エキスパート」を利用予定。

チーム全体の開発状況

• 現在、以下のチームに分かれて並行して作業を進めている
  1. 指示データセット：Insturuction Tuning用データセット収集・加工・作成
  2. 事前学習データセット：事前学習に用いるデータセットの収集・加工を行う班
  3. Code：チーム用のコード構築、コード実行時の計算量や所要時間予測
  4. 遊撃班：プロジェクトに必要な様々なことを実行
• 各サブチームが着実に進捗を上げている。データセットの収集・作成、モデルの学習・評価の練習が行われている。

サブチームからの情報共有:

1. 指示データセット
   • タスクカテゴリの作成と日本語指示データセット収集Webページの作成が完了。
   • 追加機能要望として、ランダムタスク提案、サンプル回答表示、LLMによる入力サポートが挙げられた。
2. 事前学習データセット
   • CommonCrawlから日本語データの抽出を行った。
   • アノテーションアプリを作成し、良質な日本語テキストの選別を行う予定。
   • 複数のリソースを活用し、効率的にデータセットを作成できることがわかった。
3. Code
   • 事前処理、事前学習、ファインチューニング、評価のパイプラインを実装。
     • https://github.com/hatakeyama-llm-team/Dataset_for_BTM
     • https://github.com/hatakeyama-llm-team/llm
     • https://github.com/hatakeyama-llm-team/EvalPractice
   • 各処理に要する時間の目安が明らかになった。
   • ファインチューニング条件が評価指標に与える影響を検証予定。

ディスカッション:

• Branch-Train-Mergeのデータセット配分について議論があり、事前学習データは尖らせず、ファインチューニングで個性を出すのが良いという意見が出た。
• インストラクションには2ターンが必要だと考えられている。