全般的な補足

• 特に私たちが構築するようなパラメータ数の限られたモデルにおいては、ハイパーパラメータ (temperature, top_p, top_k, repetition_penalty など) の設定次第で、生成するテキストのクオリティが著しく変わってしまう傾向にあります。そのためハイパーパラメータの設定が適切であるかは評価前に必ず確認した方がいいと思います。

• 評価ツール（llm-jp-eval, Japanese-MT-bench）を動かす作業自体はそんなに難しくないはずです。なので、0.1Bモデルなどが出来上がってから動き出すのでも遅くはない気はします。

• （JGLUEの first author でもある）栗原さんの記事は分かりやすいので一読する価値あり

  【AI Shift Advent Calendar 2023】大規模言語モデル評価大全 | 株式会社AI Shift

Mustでやらないといけない評価

llm-jp-eval

概略

• 自然言語処理の基本的なタスクに関するデータセットを使って一問一答形式で評価するものです。
• どちらかといえば言語に関する基本的な知識を問うているので、事前学習がきちんとできているかが重要な気がします。

ツールの GitHub

• https://github.com/llm-jp/llm-jp-eval (mainブランチ)
• https://github.com/llm-jp/llm-jp-eval/tree/dev (devブランチ。こちらの方が色々開発が進んでおり、新しいデータセットも追加されているが、本番で使うかは不明)
  • こちらには、モデルの専門知識を問う JMMLU のようなデータセットも新たに含まれています。

注意

• 一問一答形式の評価では、プロンプトのフォーマットによってスコアが大きく変わってしまうことが知られています。

  日本語LLMベンチマークと自動プロンプトエンジニアリング - Preferred Networks Research & Development

  • llm-jp-eval では、 custom_prompt_template という引数でプロンプトフォーマットも設定することができますが、本番で使えるかどうかは要確認です

Japanese MT-bench

概略