メモ | Notion

Common Crawl

Webサイトをクローリングしたアーカイブを無償提供している非営利団体

※クローリングとは、プログラムがリンクをたどってWebサイトを巡回し、Webページにある情報を複製・保存することです。
現時点でアクセス可能なアーカイブの総量は 251,325,355,174 ページ

Instruction Tuning

Instruction Tuningとは、特定のタスクやアプリケーションに合わせてAIモデルの振る舞いを調整するプロセスのことを指します。具体的には、人間の監督の下で、AIモデルに対して特定の命令セットやガイドラインを提供し、そのモデルがより望ましいまたは特定の方法で応答するようにトレーニングします。このプロセスは、モデルの一般的なパフォーマンスを向上させるだけでなく、特定のタイプのタスクや質問に対するモデルの応答品質を高めることを目的としています。

Instruction Tuningの一般的なステップには以下のようなものがあります：

ターゲットとするタスクの定義: AIモデルに実行させたい具体的なタスクや問題領域を特定します。
命令セットの開発: タスクを達成するためにモデルが従うべき指示やガイドラインを作成します。
トレーニングデータの準備: 指示に従ってモデルがどのように応答すべきかを示す例を含むトレーニングデータを準備します。
モデルのトレーニング: 準備したデータセットを使用してモデルをトレーニングし、特定の命令に対する応答を改善します。
評価と調整: モデルのパフォーマンスを評価し、必要に応じて追加のトレーニングセッションや命令の調整を行います。

Instruction Tuningは、モデルが特定のコンテキストやドメインにおけるニュアンスを理解し、より関連性の高い、精度の高い応答を提供できるようにすることで、AIモデルの有用性を高める手法です。このアプローチは、顧客サービスの自動化、言語翻訳の最適化、特定の業界や専門分野に特化した情報提供など、さまざまな用途で利用されています。

fine tuningとの違い

Fineチューニング

目的: Fineチューニングは、事前にトレーニングされたモデル（通常は大規模なデータセットでトレーニングされており、一般的な知識を持っている）を、特定のタスクや小さなデータセットに合わせて最適化することです。これは、モデルが特定の領域の知識を「微調整」して、その領域でより良いパフォーマンスを発揮できるようにするプロセスです。
方法: 通常、モデルの最後の数層を特定のタスクに合わせてトレーニングし直すことで行われます。このプロセスでは、特定のデータセットに対するモデルの予測能力を向上させることに焦点を当てます。
用途: イメージ認識、音声認識、特定のテキスト分類タスクなど、幅広い応用があります。

Instruction Tuning

目的: Instruction Tuningは、AIモデルに対する指示や質問に対する応答の質を向上させることに焦点を当てています。モデルが与えられた指示をどのように理解し、実行するかに重点を置き、特定の指示やフレームワークに従ってモデルの振る舞いを調整します。
方法: このアプローチでは、モデルに特定の命令セットやシナリオに基づくトレーニング例を提供し、それらのコンテキストで望ましい応答を生成するようにモデルを調整します。このプロセスは、モデルが特定の指示にどのように反応すべきかを学習することに焦点を当てています。
用途: 言語モデルの応答性の向上、特定のガイドラインや規則に従ったテキスト生成、ユーザーからの特定の質問や命令に対するAIの適応性向上などに利用されます。

スケーリング則

計算能⼒が予め決まっているときに、パラメータ数や訓練データ量などのハイパーパラメータを合理的に決定するために有⽤な法則

パラメータ数と訓練データ量は1:1の⽐率で増やしていくのがよいことが実験的に⽰された

基盤モデルとは

基盤モデル(Foundation Model)は幅広いデータで事前学習された様々なタスクに応用可能な汎用的な機械学習モデル

大規模データx大規模パラメータが特徴パラメータはモデルの大きさのこと ○ モデルが大きいほど情報の記憶能力や処理能力が良くなる

Hugging Face Datasets

「HuggingFace Datasets」は、自然言語処理などのデータセットに簡単アクセスおよび共有するためのライブラリ

パープレキシティ（英: perplexity）は、確率分布や確率モデルがサンプルをどの程度正確に予測するかを示す指標

PaLMについて

モデル：540BパラメータのTransformer LM

訓練データ：780Bトークン

翻訳能力の獲得

訓練データ中に偶発的に含まれている対訳

メガトロン

Deep-Speed