前回の❶環境構築編で作成したGCPのL4 GPU環境で、最終課題のサンプルコード(LoRA_template_unsloth2.ipynb)を動作させる手順を記載しています。
<aside> ⚠️
今回使用するVMインスタンスは1時間あたり約1ドルの課金が発生します。 使用しない時はインスタンスを停止し忘れないように注意して下さい。
</aside>
Google Cloud Consoleから、[Compute Engine]-[VM インスタンス]を選択し、前回の環境構築編で作成したインスタンスを起動させます。
インスタンスの起動が完了したら、Jupyter Lab用のSSHトンネル付きでシェルアクセスします。
(local)$ gcloud compute ssh gpu-vm --zone=us-central1-a -- -L 8888:localhost:8888
今回のサンプルコードを実行するために必要なパッケージをインストールします。 unslothはcondaではなく、pipでインストールしています。なので、サンプルコードに記載されているconda環境構築は本環境では不要です。 unslothは公式のインストールドキュメントに従ってCUDA ToolkitとTorchのバージョンを指定。
(gpu-vm)$ pip install --upgrade pip
(gpu-vm)$ pip install "unsloth[cu124-torch250] @ git+https://github.com/unslothai/unsloth.git"
(gpu-vm)$ pip install --no-deps packaging==24.2 ninja==1.11.1.2 einops==0.8.0 flash-attn==2.7.0.post2
最終的なPythonパッケージのバージョン一覧を以下に記載しておきます。
(gpu-vm)$ jupyter-lab
(省略)
To access the notebook, open this file in a browser:
file:///home/fukugawa/.local/share/jupyter/runtime/nbserver-28617-open.html
Or copy and paste one of these URLs:
<http://localhost:8888/?token=044bcb35878f9decea0f272bbf9fca8ece1281d2af586569>
or <http://127.0.0.1:8888/?token=044bcb35878f9decea0f272bbf9fca8ece1281d2af586569>
ローカルPCのブラウザでJupyter Labのログに出力されているURLにアクセスすると、Jupyter LabのWebページが表示されるはずです。(SSHトンネル経由)