はじめに

班の目標

指示データセット班の目標は大きく分けて以下の2つとなります。2つの目標を実現するためのタスクを検討しスケジュールを意識しながら消化していきましょう。

• 短期的な目標 : コンペに勝つための日本語指示データセットの作成
• 長期的な目標 : 今後全ての日本語LLM作成に利用可能な日本語指示データセットの作成

タスクまとめ (逐次追記されていきます。)

はじめに に書いた背景を踏まえ、短期目標と長期目標を達成するために以下を満たす必要があります。

1. ある程度の粒度でカテゴライズされつつ、高品質な日本語指示データセットの作成

   • [x] タスクカテゴリの案出し Password : teamohuton miroでタスクカテゴリの案を収集しています。何かあれば!!!誰でも!!!追記してください。 何を書いても構いません! タスク完了となっていても3/15までは案を受け付け続けます! (林さんから再度アナウンス)
   • [x] (締め切り 3/16) タスクカテゴリの案の整理
   • [x] (締め切り 3/18) タスクカテゴリの共通確認
   • [x] (締め切り 4/15) (やってくれる人募集！)スプレッドシート形式を確認の上、GAS, Python等を用いてdatasetsとして書き出しフローhttps://colab.research.google.com/drive/11rl9Wie22JVIB5bjj3W6bnygfWFlNijW?usp=sharing
   • [ ] (5月初旬頃まで) カテゴライズされた指示データセット各10件程度ずつの作成
   • [ ] (上記タスク後にアップロード) (やってくれる人募集中!!!) 収集されたデータの書き出しとHugging faceへdatasetsの形でアップロード 上記リンク先を参考に、スプレッドシートからデータの書き出し、HFへdatasetsをアップロードする。

2. 自動収集可能な日本語指示データセットの探索

   • [x] Claude 3の日本語インストラクションデータがかなり良さそうな感触がするので、まとめて情報共有してください。(林)　https://claude.ai/chats Technical Paperとかにも原文は存在していない。 生成文からどのようなインストラクションデータを用いていたかをイメージすると良さそう。 参考ページ (https://zenn.dev/iwatagumi/articles/fa441b7a36e6c0
     • システムプロンプト (日本語訳)
   • [ ] 指示データセット作成時の補助(Copilot的な)に使えるLLMを調査したいです (shu)
     • [ ] Swallow-MS とMoEが利用可能と思いますので推論環境用意してもいいかもしれない。
   • [ ] LLM入力機能のサポート

3. 高品質な日本語指示データセットの収集環境整備

   • [ ] 高品質な日本語指示データセットをプロジェクトメンバーおよび一般の方に作成可能とするためのフロー案の検討と告知
     • [ ] (締め切り 未定) データ作成フロー資料の公開とアナウンス (畠山さんの既存のものを整理し直して目につくようにする。)
     • [ ] (締め切り 未定) プロジェクトメンバー用の快適なデータ作成環境の構築
     • [ ] (締め切り 未定) 一般の方用の快適なデータ作成環境の構築
     • [x] (3/6) geniac_04_datasetへmiro再告知 (林さん)
   • [ ] (3月中に公開) 日本語指示データ収集Webページの公開 (p1atdevさんの可能な範囲で)

     • [ ] Open AssistantのようなテストページをNext.jsで作成中。

       • [ ] ランダムタスク提案システム
       • [ ] サンプル回答表示システム

       指示データセット収集用Webサイト作成

4. コンペ試験対策

• [x] 評価指標の確認 本内容はなるはやで達成チームメンバーに告知する。 特に事前学習班に共有し、事前学習データセットの検討資料とする。
  • [x] (締め切り 3/15) LLM-jp-eval の評価データの確認、資料としての共有。(soneさん, tadashiさん) (10個くらいのカテゴリに分かれているので比較的平易タスクとなっているかも。)
    • [x] 3/9畠山　問題一覧をcsvでまとめました（評価指標の確認・試験対策 ） https://www.notion.so/matsuolab-geniac/f9b902f2302b491d8dccc08543a950a2?pvs=4#caee4efdff5048ec86b062643719ef45
  • [x] (締め切り 3/15) JMT-bench の評価データの確認、資料としての共有。(katakami) (8個くらいのカテゴリに分かれているので比較的平易タスクとなっているかも。) https://www.notion.so/matsuolab-geniac/f9b902f2302b491d8dccc08543a950a2?pvs=4#f1ca1a23c1ce45129b51f7c1896e993e
• [x] 評価データクラスタリング手法のテスト実装(soneさん)
• [ ] 特定のプログラミング言語を抽出する手法開発 (今回不要説)
  • [ ] Magika が使えるかもしれない？: https://google.github.io/magika/

1. 事前学習データセット班の進捗
   1. https://miro.com/app/board/uXjVNl-9nHc=/

高品質な日本語指示データセットのカテゴリ作成

評価指標の確認