優秀賞一般部門 6位
予選31位(提出時LB)→6位(決勝開始時LB)→6位(決勝終了時LB)→最終6位 ＊LB = リーダーボード
運営の皆様、共に学んだ参加者の皆様に、改めて感謝申し上げます。
研修医2年の牧 広大と申します。
医療とテクノロジーの架け橋になることを目標に活動しています。
来年度から、放射線診断科 専攻医課程と、医学博士課程（医療AI）に進む予定です。
学生時より、AI・VR研究、スマホアプリ・Webアプリ開発やベンチャー企業のサービス立ち上げ(CTO)に関わってきました。
研修医になってからは、Dr.コトー診療所のモデルとなった診療所の在庫管理アプリの開発や、整復の3Dアニメーションの制作(医学書籍に掲載)、筆頭著者として英語論文の投稿などを行いました。
リンクまとめ：lit.link
Gemma 2 9BモデルをInstruction tuningしました。
データセットは、Hugging faceにて”magpie”のキーワードと日本語の条件で検索し選択しました。
推論時の設定(ビームサーチやペナルティ)の検証
・モデル選択
まずは全てのモデルを動かして、基準を満たす時間以内で推論が終わるか、結果はどうかを比較するべきだった。
ichikaraデータセットが強力だったこともあり、llm-jpのモデルにこだわったため、gemma2モデルに割ける時間が数日しかなかった。
・Wandbを最初から使えば良かった
実験の再現や記録のために、最初からWandbを使えばもっと効率化できた。
・学習データを入力する際のトークン数の事前確認
最初からしておけば、効率化できた。
・ランタイムの終了はコードで実行すべき
無駄な出費をしてしまった。モデルの学習したらランタイム終了、アップロードしたモデルをロードして推論コードが終わったらランタイム終了、の形が自分にはあっていた。推論コードをReadMeで提出する形でもあったので。