2024年4月28日

https://u-tokyo-ac-jp.zoom.us/rec/share/0Esxp7WCWzm_dPZETyWDmdJbO-14YnUS_CqJY5QKtlAs3_ZIuO-9Rgetyfb16pyY.dGllQNtiRIoHtt_Q

志賀さん

• CulturaXのフィルタリング
• LLMのトークナイザーの特殊トークンの確認
• 本番環境へのログイン

許さん

• 本番環境へのログイン
• 学習監視の手順書
  • 西島さん以外のメンバーが操作できるのかを確認中
  • ログインノードに入ったら，bashrcにcondaの設定
  • ノード間通信用のssh.configの設定

今後の活動方針

• データセットチームに合流
  • CulturaX
    • 榎本さんのdedupの処理
  • ビジネス向け & コンペでの優勝のために目指すべき評価指標
    • 評価用データセットに対して，その評価用データセットでの推論能力向上に寄与するような学習データを探して報告
      • https://www.notion.so/matsuolab-geniac/9560f68a79c94479b8a83807e2de66c3?v=43dcd39ae790470c9afc642e2e417581&pvs=4
      • 重要度が高い評価用データセットに対応する学習データを優先的に探す
      • クリーニング済みで，ある程度量がある事前学習用データを中心に
    • 評価用データセットの種類が多く，かつ個々の評価用データセットの中にも細分化された評価指標があるため，評価指標を細かく見て，対応する学習データを選択

2024年4月20日

https://u-tokyo-ac-jp.zoom.us/rec/share/UihKuwoRlWzihblHSCzIIbzpWlnx3TXa6PlhC7TtUDIYBgDq3pwjPzGYpE19u9s2.WRD8Matd6ahRearz

志賀さん

• トークナイザーのカバレッジ調査
  • データサイズ | 3MB
  • Average Token Lengthが長いと良い
• トークナイゼーション処理時間調査

塚本さん