• チーム名: たぬき・hatakeyama
• 日時　2023/4/3

動画

https://matsuokenllmcommunity.slack.com/files/U05Q0P6T9UH/F06SL0XFQ7M/video1206034482.mp4

開発テーマ・概要

当チームでは、上質な日本語データベースの構築と活用に焦点を当てた開発を行っています。具体的には、高品質な日本語テキストデータを大規模に収集・加工し、大規模言語モデルの学習に適したデータセットを作成することを目指しています。

データ収集においては、CommonCrawlをはじめとする大規模ウェブデータから日本語テキストを抽出し、ルールベースのフィルタリングに加え、人手によるアノテーションを行うことで、クリーンで高品質なデータを選別します。また、学術論文や書籍など、ウェブ以外の日本語データも積極的に取り入れ、多様性に富んだデータベースの構築を目指します。

収集したデータは、先進的な自然言語処理技術を駆使して加工・統合し、大規模言語モデルの学習に最適化します。具体的には、文書のクラスタリングや重複除去、カリキュラム学習に対応したデータの順序付けなどを行います。

さらに、構築したデータベースを用いて、最先端の大規模言語モデルを学習・評価し、日本語処理タスクにおける性能向上を図ります。

チーム全体の開発状況

事前学習データ:

• CommonCrawlから1TB分の日本語データを収集済み。現在、クリーニングとhuggingface datasets化を進めている。
• 学術データ(PMC OR)の収集・加工を検討。
• 英語とプログラミング関連のデータは加工済み。
• データセット共通処理(クリーニング、重複削除、統合など)のパイプラインは概ね完成。

指示データセット:

• カテゴリー作成とタスクリストの作成が完了。