HuggingFace+DeepSpeedによる事前学習の検証

• 検証に用いたリポジトリ

  GitHub - GENIAC-Team-Ozaki/huggingface_clm

• 実施した実験

  • 学習デバイス
    • 1ノード8GPU
  • 学習モデル
    • mistaral_test…Mistralの1B？相当のモデル
    • mistral_100m…Mistralの100m相当のモデル
  • 学習方法
    • ロスが中々落ちきらないため，それぞれチェックポイントから事前学習を継続している
      • 黄色とオレンジ色のロス
      • 茶色とグレーのロス
    • mistral_100mの方の2回目はロスが落ちきらなさそうであったため途中でキャンセル
    • 学習時間
      • mistral_100mのグレーのもの以外1ノード8GPUで6時間学習
      • mistal_100mの茶色の学習曲線でglobal step数が400過ぎぐらい

• wandbの結果

  • https://wandb.ai/toma_tanaka/huggingface_deepspeed?nw=nwusertoma_tanaka

  • 代表的な学習過程の画像を以下に添付(上記のリンクが見れない場合)

    

• その他

  • DeepSpeedでの並列処理でGPUの稼働状況は確認しデータがのるギリギリのバッチサイズまで調整
  • より学習が早くなるパラメータの設定,HuggingFace+DeepSpeedでの検証しているチームとの情報などがあれば試したいが，時間がないですよね….

• 結論

  • Megatron_deepspeedでのglobal step数を比較すると学習は遅い可能性がある
    • そもそもMegatronで扱っているLLMと異なるため単純比較は難しいが…
  • いくつかのパラメータについて一週間ほど様々なパターンを試したがそこまで早くならない印象
  • Fine tuningのコードとしては十分使える．
    • HuggingFace形式に変換できていれば自分すぐに手元で実行できます．(スキトラもできます)