読んだ方が良い、もしくは気になった情報等を共有。

Datasets for Large Language Models: A Comprehensive Survey：https://arxiv.org/abs/2402.18041

BPE を用いたトークナイザーの性能に対する**,** 言語・語彙数・ データセットの影響：https://www.anlp.jp/proceedings/annual_meeting/2024/pdf_dir/D3-5.pdf

大規模言語モデルに対する語彙置換継続事前学習の有効性の検証：https://www.anlp.jp/proceedings/annual_meeting/2024/pdf_dir/A2-6.pdf

語彙置換継続事前学習による日英バイリンガルモデルの構築と評価：https://www.anlp.jp/proceedings/annual_meeting/2024/pdf_dir/A4-5.pdf

事前学習済み Llama2 モデルを活用した言語間転移日英モデルの作成：https://www.anlp.jp/proceedings/annual_meeting/2024/pdf_dir/A11-5.pdf