今回のLLM講座を通じて、モデル開発からデータセット構築、ファインチューニングまで、実践的なLLM開発の全工程を経験することができました。特に、限られたリソースと時間の中で、効率的な開発プロセスの構築や、様々なデータセットの組み合わせによる性能最適化など、貴重な学びを得ることができました。コンペティションでは、以下の成績を収め、優秀賞をいただくことができました。
当初の予想を超える成果を得ることができ、大変嬉しく思っています。本レポートでは、この開発過程で得られた技術的な知見と課題について共有させていただきます。
当初はllm-jp-3-13bをベースモデルとして選択し、ichikara-instruction-003シリーズのデータセットを用いてLoRA学習を実施しました。この選択は、日本語処理能力の高さと、利用可能なデータセットの豊富さを考慮したものでした。
外出が多い生活スタイルに合わせ、Google Colabから自前のMac環境への移行を決断しました。この移行により、より柔軟な開発環境の構築が可能になりました。