by abe_tetsuya（Slack名 ）

gemma-2-9bでCoTモデルを作る

あけましておめでとうございます。本年もよろしくお願いいたします<(_ _)>

昨年末の決勝の余韻が冷めず、何も手に付かないので先にアウトプットしてしまおうと思います。

申し遅れました。abe_tetsuya です。 とてもありがたいことに、本選に選出された上に、最終結果12位となりました。 本当にありがとうございます。

皆さん、人力評価時に「ん？」と思うモデルは無かったでしょうか？

【思考の過程】
 ～～～

【回答】
 ～～～

ってやつです。

あれの作り方を以下に記載します。

１. 経緯

AI初心者なので、最初以下ルールで進めていた。

・サンプルソース（llm-jp-3-13b）を踏襲（大きく変更しない）

・dataset、学習パラメータを小変更してスコアの変異を観察。一番良い設定を探る

・可能ならMoE、CoT、自己検証等を試す

しかしながら全く成果が無く、サンプルソースを超えられないまま残り4日となった。

諦めモードで、遊びでgemma-2-9bを試したところ

llm-jpでは解けなかった数式や論理的タスクが解けることに気付く

（ただしスコアは2.0程度）