思いついたことやアイデア、やりたいこと、要望を自由に書いてください。
適宜チェックして情報を整理します。
事前学習用データセット、継続学習用データセット、ファインチューニング・インストラクションチューニング・・・をどのようにデータセットを構成するのか
Notionの使い方を覚える
Minami Someya (team_ozaki, member)
昨日の懇親会で小島先生からいただいたアドバイスです
→Weblab-10Bのときはモデル構造のみ変更し、学習パラメータはそのままで上手く行った
→スパイクが起きるときは、学習条件を変えてやり直しても起きることが多い。スパイクが起きにくいモデル構造を使った方がいいかも
Minami Someya (team_ozaki, member)
自分の整理がてら、主な日本語LLMとデータセットについてこちらにまとめてみました！まだ工事中＆誤った情報が混ざっているかもしれませんが、明日（3/3）は作業できないので取り急ぎ共有します🙇♀️加筆・修正などあればお願いします