モデルアーキテクチャー開発に関係する方が、読むべき情報を共有いただけますと幸いです。

3/17までのタスク

• タスク：論文、動かすコードの調査(優先順: LlaMa, MoE)

前提知識(熊田記載)

• LlaMaについての説明

  • Llama2: 日本語の精度は低いとされている。多言語のテキストコーパスを用いて事前学習されている。しかし、現状では日本語での学習量は少ないとのこと(Llama単体で日本語出力をさせたい場合は、パラメータ数が多いモデルの利用がおすすめ)。
  • rinna株式会社が、2023年10月にLlama2をベースに日本語学習を行なった「Youri 7B」シリーズを発表。Youri 7Bシリーズは、Llamaの70億パラメータモデルへさらに日本語・英語を400億トークンさらに学習させたモデル。
  • Llama2のデモ
    • llama2.ai
      • 以下、パラメータを調節できる
        • Llama Size（Llamaのモデル）
        • System Prompt（システムプロンプト）
        • Temperature（確率分布の散らばり具合）
        • Max Tokens（最大トークン数）
        • Top P（上位X％のトークンを取得）
    • https://labs.perplexity.ai/
      • オープンソースのAIモデル(sonar, llava, codellama, mistral, gemma)が複数搭載され、それぞれを試すことができるチャットボット。
  • Code Llama
    • Llama2をベースに学習させたコードタスクに特化したLLM。商用利用可能。

• LlaMa2

  • 論文:

  https://scontent-itm1-1.xx.fbcdn.net/v/t39.2365-6/10000000_662098952474184_2584067087619170692_n.pdf?_nc_cat=105&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=uuSlvGIbKxcAX9YGqt4&_nc_ht=scontent-itm1-1.xx&oh=00_AfARiPhwdzX4n7a7rOTAfsGkUVNetB_GXQjT44UZO40ehQ&oe=65F6DA7F

  • Meta llama2 HP: https://llama.meta.com/
  • github: https://github.com/meta-llama/llama
  • m1 MacbookにLlama 2をインストールして使ってみる
  • 上記コード(https://github.com/meta-llama/llama/blob/main/llama/model.py)は、推論のみのコードが提供されている模様。

• LLMの学習部分のコードは？

  • **llama2のpretrainingを試す → 記事作成者によれば、colabのみで実行できるみたい**
    • Apache 2.0 ライセンスに基づいてリリースされた、最先端のオープンソース大規模言語モデルのハッキング可能な実装 を参考に実装した。
    • 学習時に参考にしたコード
      • https://github.com/Lightning-AI/litgpt/blob/main/pretrain/redpajama.py#L147
      • llamaの場合は、同リポジトリの以下のファイルが参考になりそう
        • attentionの知識が必要。
        • 参考資料: 30分で完全理解するTransformerの世界

• llama2のアーキテクチャを変更してpre trainingしてみる

  • 記事を見る限り、attentionの理解が必要
  • https://zenn.dev/zenkigen_tech/articles/2023-01-shimizu

• if001さんのZennの記事から、MoEについて

  • Mixture of expertsの簡単な実装をしてみる
  • MixtralSparseMoeBlockを読む
  • Mixtral 250MのpretrainingからInstruction Tuningまで

• MoEの概要について

  • **Mixture of Experts Explained（英語だが非常に丁寧に解説あり）**
  • **【DL輪読会】Mixtral of Experts（図解でわかりやすい）**

• TIPS

  • LLMをゼロからトレーニングするためのベストプラクティス (登録情報が必要)
  • 事前学習のモデルアーキテクチャーの注意点
  • トレーニングが不安定になるリスクを減らすために、GPT-2や GPT-3のような人気のある先行モデルのモデルアーキテクチャーと ハイパーパラメーターから始めて、トレーニング効率の向上、モデル サイズの拡大（深さと幅の両側面）、性能向上のための微調整をする アプローチが一般的。
    • 例1
      • 性能と計算効率のバランスを考慮し、学習済みの位置エンコー ディングではなく、埋め込みベクトル次元の最初の25%にロー タリー埋め込みを使用。
      • 主に計算効率を目的として、アテンション層とフィードフォワー ド層を直列に走らせるのではなく、並列に組合せる。
      • GPT-3は密な層と疎な層を交互に使うが、GPT-NeoXは密な 層のみを使い、実装の複雑さを軽減。
    • 例2
      • 計算効率を高めるためのバッチサイズ。
      • 学習率の計画的更新。具体的には、線形の学習率（LR）計画に 従い、OPT-175Bでは最初の2000ステップ、小さいベースライ ンでは375Mトークンをかけて0から最大学習率まで温め、 300Bトークンを超えて最大LRの10％まで減衰させる。また、 学習中に何度もLRを変更する必要があった。
        • OPT-175Bは、GPT-3と同じモデルサイズ（175B）であるにも かかわらず、GPT-3の300Bトークンに対して、180Bトークンと いう非常に小さなデータセットで学習した。

• 大規模言語モデルの学習に必要な計算量試算

  • https://note.com/kan_hatakeyama/n/nd6031dbdba75
  • https://qiita.com/SoseSose/items/e4af69a1a170f02d8fe8
  • 学習と推論のコスト試算ツール

• 松尾研標準コードの確認&実行

  • https://github.com/Junhand/ucllm_nedo_prod_kawagoshi
  • team ozakiのgoogle colabコード
    • Colab Notebook
  • 解説記事
    • https://zenn.dev/turing_motors/articles/04c1328bf6095a
    • https://note.com/kan_hatakeyama/n/nbea55ed4498d

メンバーの進捗