開発に使う可能性のあるLLM事前学習フレームワークをまとめました

<aside> ⚠️ 間違っている箇所があればどんどん修正して下さい！

</aside>

結論

• Megatro-DeepSpeed，GPT-NeoXのどちらかまたは両方での実験環境を作成するべき

  • Megatro-DeepSpeed

    GitHub - microsoft/Megatron-DeepSpeed: Ongoing research training transformer language models at scale, including: BERT & GPT-2

    • ＝標準コード
    • 懸念点
      • MoEで50B相当の実装はない?

  • GPT-NeoX

    GitHub - EleutherAI/gpt-neox: An implementation of model parallel autoregressive transformers on GPUs, based on the DeepSpeed library.

    • 懸念点
      • 公式実装で20B以上のモデルを取り扱っていない様に見える，50Bモデルを作れるか不明
      • 上記は要検討するべき

上記二つまたはどちらかを使いこなしていく方針が良いのではと考えています．役割分担なども含めて誰が担当するかやどちらか，または両方を行うかを決めていければと思います．

(上記のコードをフォークor標準コードで実装していく流れですかね？)

• Megatro-DeepSpeed(標準コード)については @Hideaki Hayashi さんがすでに実施済み

<aside> ✅ Megatron-DeepSpeedを使っていく方針

</aside>

事前学習ができるライブラリ

Transformers

lit-llama

Megatron-LM

Megatron-DeepSpeed

NeMo-Megatron

GPT-NeoX

まとめ

その他の関連するライブラリ

DeepSpeed

Flash Attention