概要

前回の❶環境構築編で作成したGCPのL4 GPU環境で、最終課題のサンプルコード(LoRA_template_unsloth2.ipynb)を動作させる手順を記載しています。

<aside> ⚠️

今回使用するVMインスタンスは1時間あたり約1ドルの課金が発生します。 使用しない時はインスタンスを停止し忘れないように注意して下さい。

</aside>

サンプルコード編 - LoRA_template_unsloth2.ipynb

GPU-VMの起動

Google Cloud Consoleから、[Compute Engine]-[VM インスタンス]を選択し、前回の環境構築編で作成したインスタンスを起動させます。

スクリーンショット 2024-11-25 23.05.11.png

GPU-VMにSSHでシェルアクセス

インスタンスの起動が完了したら、Jupyter Lab用のSSHトンネル付きでシェルアクセスします。

(local)$ gcloud compute ssh gpu-vm --zone=us-central1-a -- -L 8888:localhost:8888

必要なPythonパッケージのインストール

今回のサンプルコードを実行するために必要なパッケージをインストールします。 unslothはcondaではなく、pipでインストールしています。なので、サンプルコードに記載されているconda環境構築は本環境では不要です。 unslothは公式のインストールドキュメントに従ってCUDA ToolkitとTorchのバージョンを指定。

(gpu-vm)$ pip install --upgrade pip
(gpu-vm)$ pip install "unsloth[cu124-torch250] @ git+https://github.com/unslothai/unsloth.git" 
(gpu-vm)$ pip install --no-deps packaging==24.2 ninja==1.11.1.2 einops==0.8.0 flash-attn==2.7.0.post2

最終的なPythonパッケージのバージョン一覧を以下に記載しておきます。

Jupyter Labの起動

(gpu-vm)$ jupyter-lab

(省略)

    To access the notebook, open this file in a browser:
        file:///home/fukugawa/.local/share/jupyter/runtime/nbserver-28617-open.html
    Or copy and paste one of these URLs:
        <http://localhost:8888/?token=044bcb35878f9decea0f272bbf9fca8ece1281d2af586569>
     or <http://127.0.0.1:8888/?token=044bcb35878f9decea0f272bbf9fca8ece1281d2af586569>

ローカルPCのブラウザでJupyter Labのログに出力されているURLにアクセスすると、Jupyter LabのWebページが表示されるはずです。(SSHトンネル経由)

スクリーンショット 2024-11-23 15.15.03.png