参考資料

標準コードに記載のOSSについては内容を把握できているとスムーズ

• Megatron-DeepSpeed

  大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part1

  大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part2

  GitHub - microsoft/Megatron-DeepSpeed: Ongoing research training transformer language models at scale, including: BERT & GPT-2

• Megatron-LM

  • 論文解説
    • https://inarizuuuushi.hatenablog.com/entry/2022/06/08/090000
  • ソースコード解説
    • https://inarizuuuushi.hatenablog.com/entry/2022/09/19/090000