松尾研LLM講座2024 受講生の tomoya_miyzawa (Slack名）です。 運営の皆さま、受講生の皆さま、この度はお疲れ様でした。
今年初めて受講しましたが、LLMに関わる知識と技術を網羅的にカバーした内容であり、特別回を含む全ての講義が非常に学びになりました。
私におきましては、運よく最終課題コンペで上位20以内（最終15位）に入ることができ、優秀賞をいただけることになりましたので、簡単ではありますが取り組みについて紹介させていただきます。
私自身の周辺環境などについて書いておきます。
データサイエンティストとして約3年間の実務経験があります。また、GENIAC松尾研LLM開発に開発メンバーとして参加していたため、最低限の前提知識は持っていました。
Google Colaboratory Pro（月に100コンピューティングユニット使用できるプラン）
特に記録していませんでしたが最終課題の期間は他作業で忙しかったため、RAGやDPOは最初から考えず、ファインチューニングだけで行けるところまで行こうと考えていました。
受講生はご存知の通り、今回使用できるモデルは以下でした。（詳細の条件は割愛。）
llm-jpシリーズ
Gemma-2シリーズ（日本語モデルは除く）